Dieter Hallervorden wuchs als Sohn einer Arzthelferin und eines Ingenieurs in Dessau auf. Er hat zwei Schwestern. Sein Großvater Hans Hallervorden war Gartenarchitekt der Joachim-Ernst-Stiftung im Wörlitzer Park. Einen Teil seiner Kindheit, während der Bombenangriffe im Zweiten Weltkrieg auf seine Heimatstadt, verbrachte Dieter Hallervorden in Quedlinburg im Harz. Nach dem Ende des Krieges kehrte er nach Dessau zurück und schloss dort 1953 seine Schulausbildung mit dem Abitur an der Oberschule Philanthropinum ab.
Er begann ein Studium der Romanistik an der Humboldt-Universität zu Berlin und begegnete dort Victor Klemperer, der einen faszinierenden Eindruck auf ihn machte. Wegen der eingeschränkten Meinungsfreiheit in der DDR floh Hallervorden 1958 nach West-Berlin und erweiterte dort an der Freien Universität sein Studium um die Fächer Publizistik und Theaterwissenschaft. Nach seinen eigenen Angaben plante er damals zusammen mit seinem Freund Kurt Eberhard ein Attentat auf Walter Ulbricht, das jedoch durch die Intervention einer Freundin nicht zur Ausführung kam.
Neben dem Studium arbeitete er unter anderem als Fremdenführer, Bauhilfsarbeiter, Bierfahrer und Gärtner. Nachdem Bewerbungen an der Max-Reinhardt-Schauspielschule sowie beim Berliner Kabarett Die Stachelschweine erfolglos waren, gründete er in West-Berlin 1960 die Kabarettbühne Die Wühlmäuse, der er bis heute als Direktor vorsteht. Sein Studium gab er auf und nahm stattdessen Schauspielunterricht an der Privatschule von Marlise Ludwig.
1966 wurde Hallervorden während eines Auftritts in Berlin verhaftet, nachdem in der Bildzeitung das Fahndungsbild eines gesuchten Prostituiertenmörders abgedruckt war, der Hallervorden sehr ähnlich sah. Der peinliche Irrtum klärte sich kurze Zeit später jedoch auf.
Dieter Hallervorden hat vier Kinder: Sohn Dieter (* 1963) und Tochter Nathalie (* 1966) aus seiner ersten Ehe mit Rotraud Schindler sowie eine weitere Tochter (* 1986) und Sohn Johannes (* 1998) von seiner zweiten Frau Elena Blume. Er wohnt abwechselnd in Château de Costaérès auf einer Insel vor der bretonischen Küste und in Berlin.