Après avoir participé à son premier marathon à seulement 12 ans, dans le temps de 3 h 9 min 27 s, cette très jeune athlète connue sous le surnom de "Little Mary Decker" commence sa carrière internationale en 1974. Elle se fait connaître du monde de l'athlétisme grâce à sa victoire lors du 800 mètres d'une rencontre opposant les États-Unis à l'équipe d'URSS à Minsk.
Après une interruption pour poursuivre ses études, elle revient à la compétition en 1978. En 1979, elle remporte le 1 500 mètres des Jeux panaméricains. L'année suivante, elle remporte les Trials américains qui lui donnent droit de participer aux Jeux olympiques d'été de 1980 de Moscou. Mais le boycott américain met fin à ses ambitions.
Lors de l'année 1982, elle bat six records du monde dont les records du 5 000 et du 10 000 mètres. En 1983, pour la première édition des Championnats du monde d'athlétisme, elle remporte deux médailles d'or à Helsinki, la première sur 3 000 mètres, puis quatre jours plus tard, le 1 500 mètres.
Ses performances en font l'une des favorites pour les Jeux olympiques de 1984 à Los Angeles, d'autant que les pays de l'est, à l'exception de la Roumanie, boycottent cette compétition. Seule l'ex-Sud-Africaine et désormais BritanniqueZola Budd et la Roumaine Maricica Puica semblent en mesure de lui opposer une résistance. Le sacre tant attendu ne sera pas au rendez-vous. À trois tours de l'arrivée du 3 000 mètres, Zola Budd occupe la tête après avoir suivi Mary Decker durant toute la course. Celle-ci, enfermée, tente de se dégager et heurte la Britannique. Celle-ci fait un écart, Mary Decker touche sa jambe et chute. La course est perdue pour l'Américaine[1]. Zola Budd termine à la 7e place. Disqualifiée après la course, la Britannique est ensuite requalifiée après le visionnage de la course par les officiels.
La presse américaine se déchaîne, provoquant une grande polémique. La réputation de Decker sera ternie en Europe en raison de son insistance à rendre Budd responsable de sa chute.
Sa saison suivante est marquée par un grand nombre de victoires sur 3 300 mètres et le mile en Europe. Elle ne dispute pas la saison suivante en raison d'une maternité puis une blessure la prive d'une nouvelle saison.
Elle se qualifie pour les Jeux olympiques de 1988 à Séoul mais échoue en finale à la 8e place sur 1 500 mètres et à la 10e lors du 3 000.
Elle échoue lors de sa tentative pour se qualifier pour l'olympiade suivante. En 1996, elle se qualifie pour les Jeux olympiques de 1996 d'Atlanta. Mais elle est privée de compétition en raison d'un contrôle urinaire effectué lors des Trials américains: l'analyse de celui-ci fait apparaître un taux testostérone sur épitestostérone supérieur aux normes autorisées. Les actions juridiques faisant suite à cette affaire dureront plusieurs années: Mary Decker sera suspendue par l'IAAF puis réintroduite par l'USATF (fédération américaine d'athlétisme). Elle sera de nouveau suspendue par l'IAAF, et dépossédée d'une médaille d'argent obtenue lors des mondiaux indoor d'athlétisme de 1997 sur 1 500 mètres.