Nommé gouverneur à Strasbourg le , il se voit, en mai, retirer le commandement de son armée (au profit du maréchal-duc de Noailles), puis le gouvernement de l’Alsace le 8 juillet, pour n’avoir pas défendu la Bavière, envahie par l'armée autrichienne, et s’être replié sur Ratisbonne sans ordre de retraite. De surcroît, Louis XV l’exile dans sa terre normande de Broglie où il meurt moins de deux ans plus tard.
Frédéric II l'a brocarde en le surnommant « le quadruple Xénophon »[4] pour sa retraite sans combat à la tête de 40 000 hommes (en souvenir de l'Anabase, dans laquelle Xénophon raconte sa retraite avec 10 000 hommes, de Xénophon).
Par lettres patentes données au mois de juin 1742, Louis XV érige en sa faveur cette terre en duché de Broglie. Le bourg de Chambrais prend alors le nom de Broglie, qu'il porte encore aujourd'hui.
Il fait reconstruire le château de Broglie.
Sa tombe a été profanée en 1793.
Mariage et descendance
Il épouse, le à Saint-Malo, Thérèse Gillette Locquet de Grandville (Saint Malo, - Paris, ), fille de Charles Locquet de Grandville (1646-1713), conseiller secrétaire du roi, substitut du procureur syndic des États et procureur du roi à Saint-Malo, syndic de la ville, et de Gilette Rotou. il en a :
↑Durant cette guerre suscitée par les affaires de la Pologne, la France combattait l'Autriche en Lorraine, en Rhénanie et en Italie (avec l'alliance du royaume de Sardaigne).
↑Lire à ce sujet :Gilles Perrault, Le Secret du Roi : La Passion polonaise, Fayard, (ISBN978-2-213-02969-6).