Родился (20 марта 1910 — 11 мая 1939) в п. Воронцовка на Урале (впоследствии Краснотурьинского горсовета Свердловской области) в семье Серова Константина Терентьевича и Серовой Любовь Фроловны. В июне 1930 окончил Вольскую военно-теоретическую школу лётчиков и был переведён во 2-ю школу военных лётчиков и летнабов в г. Оренбурге. 17 декабря 1931 окончил 2-ю школу военных лётчиков и летнабов по 1-му разряду. В августе 1935 поступил в Военно-воздушную академию им. Жуковского.
Первый муж известной советской киноактрисы Валентины Серовой (Половиковой).
Участвовал с 1937 г (ст. лейтенант) в Гражданской войне в Испании под псевдонимом «Родриго Матео». 2 марта 1938 полковнику Серову было присвоено звание Герой Советского Союза.
В мае 1938 он был назначен начальником Главной лётной инспекции ВВС. 11 мая 1939 комбриг погиб в авиакатастрофе во время курсов усовершенствования начальствующего состава — осваивая «слепые» полёты вместе с Полиной Осипенко.
Прах Серова и Осипенко помещён в урнах в Кремлёвской стене на Красной площади в Москве.
В честь Анатолия Серова назван город Серов (Надеждинск) на Урале, где в юности он жил и учился в школе ФЗУ при металлургическом заводе. В Омске, в Ленинском округе, в честь Серова названа площадь.