Серов легко набирал ордена, но так же легко они с него и сыпались. Полководческим орденом Суворова I степени Серов был награжден в 1944 году за выселение народов Кавказа. В 1959 году акция была признана незаконной, а орден приказали вернуть. В 1963 году Хрущев снизил Серова в воинском звании с генерала армии до генерал-майора. От четырех генеральских звезд осталась только одна. Кроме того, Хрущев снял с Серова звание Героя Советского Союза и один орден Ленина. В 1995 году указом Президента Польской Республики Л. Валенсы Серов был лишен и польского ордена.