單位與勞動者在勞動合同中約定由勞動者承擔違約賠償責任是可以的，但除了違反服務期約定或競業限制約定外，其他情形下不能要求勞動者支付違約金。勞動者違反服務期約定的，支付違約金的數額不得超過用人單位提供的培訓費用；違反競業限制的違約金則由用人單位和勞動者協商確定。法律依據：《中華人民共和國勞動合同法》第二十二條 用人單位為勞動者提供專項培訓費用，對其進行專業技術培訓的，可以與該勞動者訂立協議，約定服務期。 勞動者違反服務期約定的，應當按照約定向用人單位支付違約金。違約金的數額不得超過用人單位提供的培訓費用。用人單位要求勞動者支付的違約金不得超過服務期尚未履行部分所應分攤的培訓費用。 用人單位與勞動者約定服務期的，不影響按照正常的工資調整機制提高勞動者在服務期期間的勞動報酬。