要根據(jù)外遇的具體情節(jié)來決定是否需要支付離婚損害賠償。法律規(guī)定一方有重婚行為或者與他人同居行為的，另一方如果沒有過錯，可以在離婚時向過錯方請求離婚損害賠償。

法律依據(jù)：

《民法典》第一千零九十一條

有下列情形之一，導致離婚的，無過錯方有權(quán)請求損害賠償：

（一）重婚；

（二）與他人同居；

（三）實施家庭暴力；

（四）虐待、遺棄家庭成員；

（五）有其他重大過錯。

《最高人民法院關(guān)于適用<中華人民共和國民法典>婚姻家庭編的解釋（一）》第九十條

夫妻雙方均有民法典第一千零九十一條規(guī)定的過錯情形，一方或者雙方向?qū)Ψ教岢鲭x婚損害賠償請求的，人民法院不予支持。