不構成遺棄罪，但男方可以通過協商或者訴訟的方式變更撫養權。

《中華人民共和國民法典》

第一千零五十八條 夫妻雙方平等享有對未成年子女撫養、教育和保護的權利，共同承擔對未成年子女撫養、教育和保護的義務。

第一千零八十四條 父母與子女間的關系，不因父母離婚而消除。離婚后，子女無論由父或者母直接撫養，仍是父母雙方的子女。

離婚后，父母對于子女仍有撫養、教育、保護的權利和義務。

離婚后，不滿兩周歲的子女，以由母親直接撫養為原則。已滿兩周歲的子女，父母雙方對撫養問題協議不成的，由人民法院根據雙方的具體情況，按照最有利于未成年子女的原則判決。子女已滿八周歲的，應當尊重其真實意愿。

《最高人民法院關于適用〈中華人民共和國民法典〉婚姻家庭編的解釋1、》

第五十五條 離婚后，父母一方要求變更子女撫養關系的，或者子女要求增加撫養費的，應當另行提起訴訟。

第五十六條 具有下列情形之一，父母一方要求變更子女撫養關系的，人民法院應予支持：

1、與子女共同生活的一方因患嚴重疾病或者因傷殘無力繼續撫養子女；

2、與子女共同生活的一方不盡撫養義務或有虐待子女行為，或者其與子女共同生活對子女身心健康確有不利影響；

3、已滿八周歲的子女，愿隨另一方生活，該方又有撫養能力；

4、有其他正當理由需要變更。