Il ambitionne alors ouvertement de se présenter à la mairie de Paris, puissant bastion de la droite, mais les socialistes lui préfèrent finalement le candidat local Bertrand Delanoë. En mars 2000, suite au large remaniement ministériel qui voit le retour des "éléphants" du PS au gouvernement, il succède à Claude Allègre comme ministre de l'Éducation nationale.

Battu aux municipales de 2001 par l'UDF Nicolas Perruchot, en vue des législatives de 2002, il quitte définitivement Blois où il a été très contesté, et réussit son parachutage dans le Pas-de-Calais. Il devient député dans la 6e circonscription du Pas-de-Calais (Boulogne Nord-Calais ouest), qui compte l'un des taux de France les plus important de bénéficiaires du RMI.

En 2002, après l'échec de Lionel Jospin, il considère qu'il faut réconcillier les hommes politiques avec les français en étant d'accord, par exemple, sur le principe d'une émission de télé-réalité où des politiques partageront l'existence de Français moyen. Il est vigoureusement pris à parti par les intermittents du spectacle qui lui reprochent de récupérer leur mouvement.

En 2004, il est nommé porte-parole national de la campagne du PS pour les régionales et les cantonales. À la fin de l'année, il réintègre la direction du Parti socialiste, en étant chargé, avec Martine Aubry et Dominique Strauss-Kahn, du projet socialiste pour 2007.

Porte-parole du PS durant la campagne pour le référendum du traité pour la Constitution européenne, il défend la ligne du « oui » aux côtés de l'équipe dirigeante du parti.
Le 1er septembre 2005 il publie un livre-programme en vue de 2007, Changer.

À l'occasion du 10e anniversaire de la mort de l'ancien Président de la République François Mitterrand, il signe la postface du livre de Stéphane Trano, "Mitterrand, Une Affaire d'Amitié", aux éditions de l'Archipel.

À défaut de se présenter à la présidentielle, Jack Lang est réélu député de la sixième circonscription du Pas-de-Calais au deuxième tour des élections législatives de 2007, avec 54,72 % des voix.

Le 25 février 2009, il se rend à Cuba comme « émissaire spécial » de Nicolas Sarkozy pour relancer le dialogue franco-cubain, cette fois sans critique de la direction de son parti.