В Великую Отечественную войну проявил себя как талантливый полководец, сыгравший важнейшую роль в разгроме немецко-фашистских войск в Ленинградской и Московской битвах (1941—1942), при прорыве блокады Ленинграда, в Курской битве (1942—1943), при наступлении на Правобережной Украине и в Белорусской операции (1943—1844), в Висло-Одерской и Берлинской операциях (1944—1945). С августа 1942 г. заместитель наркома обороны СССР и заместитель Верховного Главнокомандующего. От имени Верховного Главнокомандования 8 мая 1945 г. принял капитуляцию фашистской Германии.

В 1945—1946 гг. главнокомандующий Группой советских войск и глава Советской военной администрации в Германии. С марта 1946 г. главнокомандующий Сухопутными войсками и заместитель министра Вооруженных Сил СССР. В том же году отстранен от должности И. В. Сталиным. С июня 1946 г. командующий войсками Одесского, с 1948 г. — Уральского военного округов. С 1953 г. 1-й заместитель министра, с 1955 г. министр обороны СССР. В октябре 1957 г. освобожден от обязанностей министра по распоряжению Н. С. Хрущева, в 1958 г. уволен из Вооруженных Сил.

Автор книги «Воспоминания и размышления».