Родился в семье железнодорожника, рано остался без отца. После окончания семилетки работал помощником киномеханика при железнодорожном клубе на станции Моздок, рабочим на телеграфе, матросом речного флота. В 1936 г. окончил Рыбинский техникум водного транспорта, учился в Петрозаводском университете. Позднее окончил Высшую партийную школу при ЦК КПСС.

В 1936 г. началась комсомольская карьера Андропова, вершиной которой стал пост первого секретаря ЦК комсомола Карелии (1940—1944). С 1939 г. член ВКП(б). Во время войны 1941—1945 гг. организовывал партизанское движении в Карелии.

В 1944 г. Андропов перешел на партийную работу, был вторым секретарем Петрозаводского горкома партии, с 1947 года — вторым секретарем ЦК компартии Карелии. С 1951—1952 гг. годах работал в аппарате ЦК КПСС.

В 1953—1957 гг. был послом СССР в Венгрии. В 1956 г. Андропов настаивал на вводе советских войск в Венгрию, а затем сыграл активную роль в подавлении восстания против коммунистического режима в Венгрии. Ему удалось уговорить Я. Кадара возглавить венгерское правительство, сформированное Москвой. После венгерских событий Андропов заведовал отделом социалистических стран ЦК КПСС (1957—1967), был секретарем ЦК КПСС (1962—1967). В 1964 г. Андропов участвовал в смещении Н. С. Хрущева. С 1967 г. — председатель КГБ. За 15 лет его руководства органы госбезопасности существенно укрепили и расширили свой контроль над всеми сферами жизни государства и общества. Одним из основных направлений деятельности КГБ была борьба с диссидентским движением. При Андропове проводились судебные процессы над правозащитниками, использовались различные методы подавления инакомыслия, практиковались различные формы внесудебного преследования (например принудительное лечение в психиатрических больницах). По инициативе Андропова началась высылка инакомыслящих. Так, в 1974 г. был выслан за границу и затем лишен гражданства писатель А. И. Солженицын. В 1980 г. академик А. Д. Сахаров был выслан в г. Горький, где он находился под постоянным контролем КГБ.

Особое внимание Андропов уделял контролю за работой органов госбезопасности стран социалистического лагеря. Проводились тайные операции по передаче крупных валютных сумм иностранным коммунистическим партиям и общественным объединениям, поддерживающим СССР. При Андропове КГБ оказывал поддержку международным террористическим организациям.

Андропов был сторонником самых решительных мер по отношению к странам социалистического лагеря, которые стремились проводить независимую внутреннюю и внешнюю политику. В августе 1968 г. он оказал влияние на принятие решения о вводе войск стран Варшавского договора в Чехословакию. В конце 1979 г. Андропов поддержал предложение о вторжении советских войск в Афганистан, а в 1980 г. настаивал на проведении военной акции против Польши. В 1974 г. он стал Героем Социалистического труда, а в 1976 г. ему было присвоено звание генерала армии.

В ноябре 1982 г. Андропов был избран генеральным секретарем ЦК КПСС. В первые месяцы своего правления он провозгласил курс, направленный на социально-экономические преобразования. Однако все изменения свелись к административным мерам, укреплению трудовой дисциплины, разоблачению коррупции в близком окружении правящей верхушки. Политическая и экономическая система оставалась незыблемой. Более того, идеологический контроль и репрессии против инакомыслящих ужесточились. Во внешней политике усилилась конфронтация с Западом. Вместе с тем Андропов стремился к укреплению своей личной власти. С июня 1983 г. он совмещает должность генерального секретаря партии с постом главы государства — председателя президиума Верховного Совета СССР. Но на высшем посту он оставался чуть больше года. Последние месяцы своей жизни Андропов был вынужден управлять страной из больничной палаты кремлевской клиники.