如果確定對方有精神病的話，那是可以要回孩子撫養權的，撫養孩子主要是看哪一方撫養有利于孩子身心健康成長。如果對方撫養孩子不足以滿足孩子身心健康成長的需要，另一方面是有權利變更撫養權的。

《中華人民共和國民法典》

第一千零八十四條 父母與子女間的關系，不因父母離婚而消除。離婚后，子女無論由父或者母直接撫養，仍是父母雙方的子女。

離婚后，父母對于子女仍有撫養、教育、保護的權利和義務。

離婚后，不滿兩周歲的子女，以由母親直接撫養為原則。已滿兩周歲的子女，父母雙方對撫養問題協議不成的，由人民法院根據雙方的具體情況，按照最有利于未成年子女的原則判決。子女已滿八周歲的，應當尊重其真實意愿。

第一千零八十五條 離婚后，子女由一方直接撫養的，另一方應當負擔部分或者全部撫養費。負擔費用的多少和期限的長短，由雙方協議；協議不成的，由人民法院判決。

前款規定的協議或者判決，不妨礙子女在必要時向父母任何一方提出超過協議或者判決原定數額的合理要求。