在追究刑事責任后，依法作出的行政處罰決定不應該撤銷。刑事責任和行政責任是不同的責任，二者并不沖突；并且刑事處罰中的拘役、有期徒刑可以依法和行政拘留的期限相折抵，而罰金可以與罰款相折抵。法律依據：《中華人民共和國行政處罰法》第三十五條 違法行為構成犯罪，人民法院判處拘役或者有期徒刑時，行政機關已經給予當事人行政拘留的，應當依法折抵相應刑期。 違法行為構成犯罪，人民法院判處罰金時，行政機關已經給予當事人罰款的，應當折抵相應罰金；行政機關尚未給予當事人罰款的，不再給予罰款。 第三十六條 違法行為在二年內未被發現的，不再給予行政處罰；涉及公民生命健康安全、金融安全且有危害后果的，上述期限延長至五年。法律另有規定的除外。 前款規定的期限，從違法行為發生之日起計算；違法行為有連續或者繼續狀態的，從行為終了之日起計算。