如果稅務行政處罰的時效超過二年，而違法行為仍未被發現的，不再追究；如果稅務違法行為涉及公民生命健康安全、金融安全且有危害后果的，則超過五年未被發現的，不再追究其行政責任。法律依據：《中華人民共和國行政處罰法》第三十六條 違法行為在二年內未被發現的，不再給予行政處罰；涉及公民生命健康安全、金融安全且有危害后果的，上述期限延長至五年。法律另有規定的除外。 第五十一條 違法事實確鑿并有法定依據，對公民處以二百元以下、對法人或者其他組織處以三千元以下罰款或者警告的行政處罰的，可以當場作出行政處罰決定。法律另有規定的，從其規定。 第六十條 行政機關應當自行政處罰案件立案之日起九十日內作出行政處罰決定。法律、法規、規章另有規定的，從其規定。