Byl odejden kvůli Peňkovskému - KGB odhalila v GRU agenta britské rozvědky. Ovšem toudobou se už za takováto elhání nepopravovalo - kulku dostal sám Peňkovský, jeho britský spolupracovník - ilegál 8 let a Serova degradovali (pořád ale zůstal generálem) a poslali sloužit do turkestánského a později volžského vojenského okruhu jako zástupce velitele pro výcvik.
S pádem Chruščova šel dál dolů, ale ani nebyl popravem ani nespáchal sebevraždu, ak pábil Pacner. Zemřel v r. 1990 v 85 letech.