Peirsol war 1999 mit 15 Jahren der jüngste Schwimmer, der die 200 m Rücken unter zwei Minuten schwamm. Im Jahr darauf gewann er bei den Olympischen Spielen in Sydney hinter seinem Teamkollegen Lenny Krayzelburg die Silbermedaille über 200 m Rücken.
Gleich bei seiner ersten Teilnahme an den Schwimmweltmeisterschaften 2001 in Fukuoka siegte er ebenfalls über 200 m Rücken. Drei weitere Weltmeistertitel über 100 m Rücken, 200 m Rücken sowie mit der US-amerikanischen 4 × 100-m-Lagenstaffel folgten bei den Schwimmweltmeisterschaften 2003 in Barcelona. Bei den Weltmeisterschaften 2005 im kanadischen Montreal konnte Peirsol alle drei Titel verteidigen und wurde somit wiederum Weltmeister über 100 und 200 m Rücken und mit der Lagenstaffel.
Bei den Olympischen Spielen 2004 in Athen wurde Peirsol dreifacher Olympiasieger über 100 und 200 m Rücken sowie mit der US-amerikanischen 4 × 100-m-Lagenstaffel. Sein Sieg über 200 m Rücken wurde ihm erst nachträglich zuerkannt. Obwohl er den Wettkampf deutlich vor dem Österreicher Markus Rogan gewonnen hatte, wurde Peirsol zunächst disqualifiziert, weil die Schiedsrichter bei einer Wende einen nicht zulässigen Beinschlag erkannt hatten. Nach Protest der US-amerikanischen Teamleitung wurde die Disqualifikation mit der formalen Begründung aufgehoben, der japanische Schiedsrichter habe den Ausschluss in französischer und nicht wie vorgeschrieben in englischer Sprache ausgesprochen. Bei den Olympischen Spielen in Peking 2008 gewann er eine Einzel- und eine Staffelgoldmedaille.