Lors du scrutin, L'Olivier échoue à remporter la majorité absolue à la Chambre des députés, mais en constitue la première force avec 279 députés sur 630. Au Sénat de la République, en revanche, la coalition dispose de 160 sièges sur 315.
Les élections européennes du 13 juin 1999 constituent le premier test électoral national pour l'alliance, dont les partis se présentent en ordre dispersé. Dans l'ensemble, ils remportent 33 sièges sur 87, six de moins que les forces de droite et de centre droit coalisées derrière Silvio Berlusconi. Alors que D'Alema a formé, en , un second gouvernement pour tenter d'élargir sa majorité parlementaire, ce qui se traduit simplement par l'entrée de l'Union des démocrates pour l'Europe (UDEUR), issue de l'UDR, il remet sa démission dès le . En effet, à peine trois jours plus tôt, L'Olivier a perdu quatre régions sur quinze mises en jeu lors des élections régionales, à savoir le Latium, les Abruzzes, la Calabre et la Ligurie.
Pour remplacer le chef du gouvernement, le président Carlo Azeglio Ciampi choisit le ministre du Trésor, l'indépendant Giuliano Amato, qui forme son exécutif en seulement six jours.
Le gouvernement issu de L'Olivier tend à remettre en cause l’État-providence, tout en poursuivant une politique économique fondée sur la privatisation de certains secteurs de l’économie et la réduction de la dette publique. Il favorise par ailleurs la fédéralisation des institutions[1].
Dans l'opposition entre 2001 et 2006
Pour les élections générales du 13 mai 2001, L'Olivier désigne Francesco Rutelli, le maire de Rome, comme chef de file, et se réorganise. En effet, le PPI, RI, les Dem et l'UDEUR ont constitué un cartel chrétien-social connu sous le nom de La Margherite. Toutefois, l'aventure est un échec puisque la coalition se contente de 250 députés et 132 sénateurs.
Pour les élections européennes des 12 et 13 juin 2004, les partis de la coalition décident de s'unir et forment une liste baptisée « Unis dans l'Olivier ». L'expérience est une demi-réussite, dans la mesure où l'alliance se place en tête du scrutin avec 31 % des voix, mais 24 sièges sur 78. Peu après la tenue de ces élections, Romano Prodi, libéré de ses fonctions de président de la Commission européenne, remplace Rutelli à la direction de L'Olivier.
Les élections régionales qui se tiennent deux mois plus tard marquent l'incontestable succès de la nouvelle formule. Non seulement le centre gauche retrouve les quatre Régions perdues, mais en remporte également deux autres, le Piémont et les Pouilles. Sur quinze régions en jeu, L'Union en gagne treize.
Pour choisir son chef de file, la grande coalition décide d'organiser des primaires ouvertes, les premières du genre. L'Olivier, ainsi que le PDCI, choisissent de soutenir Romano Prodi, qui l'emporte dès le premier tour avec 74 % des suffrages exprimés, soit 3 180 000 voix sur 4 300 000.
Au sein de la coalition, L'Olivier est la force la plus importante, avec 31,3 % à la Chambre, soit 220 sièges, et 28,2 % au Sénat, soit 101 parlementaires. Lors de l'ouverture de la législature, le , elle soutient l'élection de Fausto Bertinotti, du PRC, comme président de la chambre basse, et fait élire Franco Marini à la présidence de la chambre haute. Le 10 mai suivant, le sénateur à vieGiorgio Napolitano, des Démocrates de gauche, est éluprésident de la République italienne au quatrième tour de scrutin, par 543 voix sur 990, soit 54,8 %.
À peine entré en fonction, Napolitano charge, le 16 mai, Romano Prodi du mandat de former un gouvernement. Celui-ci présente, vingt-quatre heures plus tard, le gouvernement Prodi II, constitué de vingt-six ministres, dont huit sans portefeuilles. D'Alema, nommé ministre des Affaires étrangères, et Rutelli, ministre pour les Biens culturels, sont également vice-présidents du Conseil. En tout, L'Olivier obtient dix-huit portefeuilles, en plus de la présidence du Conseil, avec des portefeuilles aussi importants que l'Intérieur, confié à Amato, la Défense, les Réformes institutionnelles ou le Développement économique.
Le gouvernement obtient, le 19 mai, la confiance des sénateurs par 165 voix contre 155, du fait de l'appui des sénateurs à vie, et celle des députés est acquise quatre jours plus tard, par 344 suffrages favorables contre 268.
Redevenu président du Conseil, Prodi relance son projet de fonder un grand parti politique du centre gauche, qui rassemblerait les formations composant L'Olivier et prendrait le nom de « Parti démocrate » (Partito Democratico, PD). Alors, le , l'Assemblée nationale des Démocrates de gauche et l'Assemblée fédérale de Démocratie et liberté - La Marguerite prennent une position de principe favorable à la création du PD.
Au mois d', le congrès national de DL se réunit et approuve, à l'unanimité, la fusion avec les DS dans le Parti démocrate.
Dans le même temps, le congrès national des sociaux-démocrates se montre plus divisé, la motion présentée par le secrétaire Piero Fassino, favorable au PD, étant concurrencée par deux autres textes s'y opposant, dont l'un porté par le ministre de l'Enseignement supérieur, Fabio Mussi. Finalement, la position de Fassino l'emporte avec 75,5 % des suffrages, et Mussi quitte le parti afin de fonder la Gauche démocrate (SD).
Pour mener à bien la création du nouveau parti, un comité de 45 personnalités est constitué le 24 mai suivant, sous le nom de « Comité du », référence à la date des primaires ouvertes destinées à choisir le secrétaire du PD et les délégués à l'assemblée constituante. En font partie, outre Prodi, Fassino, D'Alema, Amato, Rutelli, des personnalités telles que Rosa Iervolino, maire de Naples (DL), Marco Follini, ancien secrétaire de l'Union des démocrates chrétiens et du centre (UDC) et vice-président du Conseil de Silvio Berlusconi, Walter Veltroni, maire de Rome (DS).
Lors des primaires, Veltroni, issu des DS, est principalement opposé à Rosy Bindi et Enrico Letta, de DL. Il l'emporte avec une majorité écrasante de 75,8 % des voix dès le premier tour, tandis que les listes qui le soutiennent gagnent 2 322 sièges sur 2 853 à la constituante. Lors de la réunion de celle-ci, le 27 octobre, Romano Prodi est désigné président de l'Assemblée nationale du Parti démocrate.