Родился в Умтате (Транскей) в семье вождя племени телебу. Учился в колледже Форта-Хер, из которого в 1940 за участие в студенческой забастовке был исключен, работал полицейским на шахте в Йоханнесбурге. В 1942 закончил колледж и университет в Уитвотерсренде, получив специальность правоведа. В 1944 Мандела вступил в Молодежную лигу Африканского национального конгресса (АНК) и вскоре стал одним из ее лидеров.

В 1950-е гг. Мандела — один из наиболее активных борцов против апартеида на юге Африки. Неоднократно арестовывался полицией. В 1958 он женился на Нкосикази Номзамо Мадикизела, более известной как Винни Мандела. Этот брак был расторгнут в 1995.

После событий в Шарпевиле (1960), когда в результате беспорядков было убито 67 африканцев, южноафриканское правительство запретило АНК. Манделе пришлось перейти на нелегальное положение. В июне 1961 лидеры АНК решили перейти к вооруженным методам борьбы против апартеида. Была сформирована военная организация АНК во главе с Манделой. В июне 1964 он был арестован органами безопасности ЮАР и приговорен к пожизненному тюремному заключению.

Во время своего заключения Мандела приобрел мировую известность. В Южной Африке и в других странах развернулось движение за его освобождение. 18 лет он провел в тюрьме на острове Роббон (1964-82), в 1982 был переведен в кейптаунскую тюрьму, в которой провел 6 лет, после чего был госпитализирован в связи с заболеванием туберкулезом. В 1985 Мандела отверг предложение президента ЮАР П. Боты об освобождении в обмен на отказ от политической борьбы.

В 1990 в условиях кризиса системы апартеида Мандела был освобожден и в 1991 возглавил АНК. В 1993 Мандела и президент ЮАР Ф. де Клерк были удостоены Нобелевской премии мира за их усилия положить конец апартеиду. В 1994 в Южной Африке были проведены первые общенациональные выборы с участием африканского большинства, в результате которых Мандела стал первым чернокожим президентом ЮАР.

В 1996 под его руководством была разработана и принята новая конституция Южно-Африканской республики. Он является автором нескольких книг, среди которых видное место занимают «Нет легкого пути к свободе» (1965), «Я готов умереть» (1979).