違章建筑應(yīng)該由縣級(jí)以上地方人民政府城鄉(xiāng)規(guī)劃部門來(lái)認(rèn)定。我國(guó)法律規(guī)定，未取得建設(shè)工程規(guī)劃許可證或者未按照建設(shè)工程規(guī)劃許可證的規(guī)定進(jìn)行建設(shè)的，由縣級(jí)以上地方人民政府城鄉(xiāng)規(guī)劃主管部門責(zé)令停止建設(shè)。

法律依據(jù)：

《土地管理法》第七十八條

農(nóng)村村民未經(jīng)批準(zhǔn)或者采取欺騙手段騙取批準(zhǔn)，非法占用土地建住宅的，由縣級(jí)以上人民政府農(nóng)業(yè)農(nóng)村主管部門責(zé)令退還非法占用的土地，限期拆除在非法占用的土地上新建的房屋。

超過(guò)省、自治區(qū)、直轄市規(guī)定的標(biāo)準(zhǔn)，多占的土地以非法占用土地論處。

《城鄉(xiāng)規(guī)劃法》第六十四條

未取得建設(shè)工程規(guī)劃許可證或者未按照建設(shè)工程規(guī)劃許可證的規(guī)定進(jìn)行建設(shè)的，由縣級(jí)以上地方人民政府城鄉(xiāng)規(guī)劃主管部門責(zé)令停止建設(shè)；尚可采取改正措施消除對(duì)規(guī)劃實(shí)施的影響的，限期改正，處建設(shè)工程造價(jià)百分之五以上百分之十以下的罰款；無(wú)法采取改正措施消除影響的，限期拆除，不能拆除的，沒(méi)收實(shí)物或者違法收入，可以并處建設(shè)工程造價(jià)百分之十以下的罰款。