一般情況下，合同的委托人或受托人是可以隨時解除委托合同的。但因解除合同造成對方損失的，除具有免責事由外，解除無償委托合同的應賠償其造成的直接損失，解除有償委托合同的應賠償直接損失和合同履行后可以獲得的利益。法律依據：《民法典》第九百三十三條 委托人或者受托人可以隨時解除委托合同。因解除合同造成對方損失的，除不可歸責于該當事人的事由外，無償委托合同的解除方應當賠償因解除時間不當造成的直接損失，有償委托合同的解除方應當賠償對方的直接損失和合同履行后可以獲得的利益。 《民法典》第九百三十四條 委托人死亡、終止或者受托人死亡、喪失民事行為能力、終止的，委托合同終止；但是，當事人另有約定或者根據委托事務的性質不宜終止的除外。 《民法典》第九百三十五條 因委托人死亡或者被宣告破產、解散，致使委托合同終止將損害委托人利益的，在委托人的繼承人、遺產管理人或者清算人承受委托事務之前，受托人應當繼續處理委托事務。