En 1988, il est candidat au poste de procureur général de l'Indiana mais sera désavoué lors de la convention démocrate de l'État. Deux ans plus tard, il tente sans succès de se faire élire au Sénat de l'Indiana.
Candidat de nouveau dans le même district deux ans plus tard, Donnelly s'impose cette fois avec près 54 % des voix en battant le représentant sortant Chris Chocola[3].
Réélection en 2008 et 2010
Réélu triomphalement en 2008 avec plus de 67 % des voix[4], il parviendra à sauver son siège de justesse en 2010 face à Jackie Walorski[5].
Il s’associe aux républicains pour contrer le Procureur général démocrate Eric Holder, après le fiasco de l'opération « Fast and Furious » contre le trafic d'armes[9]. Lors de la session 2011-2013, Donnelly a voté à 67 % avec la ligne de son parti[10]. À la veille de quitter chambre, il vote pour le relèvement du plafond de la dette américaine[11].
Le , il est investi sans aucune opposition par les démocrates[13]. Le même jour, le modéré Richard Lugar est battu l'ultra-conservateur Richard Mourdock. Donnelly est avantagé par cette défaite, puisque face à Mourdock il est au coude-à-coude dans les sondages, alors qu'il aurait été largement devancé par Lugar.
Les axes de sa campagne sont l'équilibre budgétaire, la baisse des dépenses et la défense de la classe moyenne. Il se définit comme un démocrate indépendant, prêt à travailler avec les républicains pour faire avancer les dossiers.
Lors d'un débat télévisé entre lui et le trésorier Mourdock, ce dernier dérape en déclarant que si une femme violée tombe enceinte c’est la volonté de Dieu[14]. Ces déclarations lui font perdre de nombreux soutiens et propulse Donnelly dans les sondages[15]. À l'approche de l’élection, Donnelly est désormais favori.
Le , avec près de 50 % des suffrages, il bat son rival républicain qui n'obtient que 44 %[16]. Il s'impose malgré la nette victoire de Mitt Romney dans l'Indiana[17].
Le , candidat incontesté dans son propre camp, il remporte largement la primaire démocrate et redevient officiellement le candidat de son parti pour sa réélection lors des élections sénatoriales de novembre[18]. Il affronte le candidat officiel du Parti républicain, l'entrepreneur Mike Braun, qui le bat au soir de l'élection[19].