Avec Olivar Asselin et Omer Héroux, il est l'un des fondateurs de la Ligue nationaliste en 1903, dont le but est de promouvoir la complète autonomie du Canada face à la Grande-Bretagne et à l'Empire britannique. Asselin en est le président et Lavergne l'animateur du nouveau mouvement dans la région de Québec.
À l'occasion des élections fédérales de 1904, il accepte l'offre de Wilfrid Laurier de se présenter candidat libéral dans le comté de Montmagny. Il pensait d'abord refuser mais il change d'avis à la suite des conseils de son très influent ami Henri Bourassa. Il devient ainsi le premier membre de la Ligue nationaliste à être élu député.
En février 1907, Lavergne dépose un projet de loi mettant le français et l'anglais sur un pied d'égalité dans la frappe des monnaies et l'administration des Postes. Le projet est bientôt retiré car il n'a pas l'assentiment du premier ministre Laurier. En mai, Lavergne récidive, demandant cette fois le service en français dans tous les services publics fédéraux.
Il se met bientôt à critiquer le gouvernement, l'accusant de ne pas assez défendre la langue française dans les nouvelles provinces d'Alberta et de Saskatchewan. Laurier n'a plus d'autre choix que d'obliger Lavergne à démissionner.
Aux élections provinciales de 1908, Armand Lavergne et Henri Bourassa se présentent candidats nationalistes et ils sont élus.
Toujours aussi dévoué envers l’émancipation de la langue française au Québec, c’est en juillet1910 que Lavergne fait voter par l'Assemblée législative du Québec son projet de loi amendant le Code Civil du Québec et ce, malgré certaines réserves du gouvernement du premier ministre Lomer Gouin. On oblige dorénavant les entreprises de services publics à publier autant en français qu’en anglais leurs communications écrites destinées à leur clientèle. Surnommée « Loi Lavergne », celle-ci devint effectivement la toute première législation linguistique de cette province visant à une plus grande inclusion de la langue française au Québec. Lavergne est réélu lors de l'élection générale québécoise de 1912, toujours dans son comté de Montmagny.
Durant la Première Guerre mondiale, son combat se fait sur deux fronts. D'abord, il s'oppose à la participation du Canada à la guerre. Ensuite, il critique fortement le Règlement 17, que le gouvernement ontarien a fait adopter à la veille de la guerre et qui supprime de facto l'utilisation du français dans les écoles de l'Ontario. Il n'hésite d'ailleurs pas à aller y faire des discours, soutenant les opposants à la loi.
En 1916, il ne se représente pas lors des élections provinciales. En 1917, il s'oppose à la nouvelle loi sur la conscription et va même jusqu'à prôner la désobéissance civile. Il se présente dans son comté de Montmagny aux élections fédérales du 17 décembre mais Laurier décide de lui opposer un candidat car la présence de Lavergne à la Chambre des Communes ne pourrait être, croit-il, qu'une nuisance pour lui et son parti. Lavergne est défait à l'élection.
En 1918, il tente de calmer les manifestants lors de l'émeute de Québec contre l'enrôlement obligatoire. Avant et après les émeutes, il représente devant le tribunal ceux qui tentent de se faire exempter du service militaire.
En 1921, il tente de se présenter comme candidat indépendant dans Montmagny aux élections fédérales, mais il est défait. En 1923, il récidive aux élections provinciales, se présentant contre le député et premier ministre sortant, Louis-Alexandre Taschereau, dans Montmorency. Cette campagne se conclut elle aussi par une défaite.
Par la suite, Lavergne tombe malade, devient handicapé et se retire temporairement de la vie politique. En 1925 et 1926, à la grande surprise de tous, il se présente candidat conservateur dans Montmagny lors des élections fédérales. Il perd cette élection, mais il récidive à l'élection de 1930 et, cette fois, la remporte.
Le nouveau premier ministre, Richard Bennett, le nomme vice-président de la Chambre des Communes, ce qui déçoit quelque peu Lavergne car il espérait un poste de ministre.
Armand Lavergne décède d'une pneumonie le à Ottawa à l'âge de 55 ans. Il venait de publier son autobiographie, Trente ans de vie nationale.
Héritage
Une école de la Commission de services scolaires de Montréal et un centre d'hébergement et de soins de longue durée (CHSLD) ainsi qu'une rue de la ville ont été nommés en son nom.