Après sa démission, Withers commence la pratique du droit en Alabama. En 1836, il entre dans la milice de l'État, et il devient plus tard courtier en coton[3]. Le , Withers épouse Rebecca Eloise Forney, et le couple a dix enfants ensemble. Il est admis au barreau de l'Alabama en 1838[2]. Pendant la guerre américano-mexicaine, Withers est nommé lieutenant colonel dans l'armée des États-Unis le , et est affecté dans le 13th U.S. Infantry(en). Il est promu colonel le dans le 9th U.S. Infantry, et démissionne le [5].
Withers commande le district de l'Alabama, du au [5]. Son commandement est re-désigné comme l'armée de Mobile(en) du jusqu'au , et devient la 2edivision du deuxième corps d'armée de l'armée du Mississippi, le [5]. Withers combat lors de la bataille de Shiloh dans le Tennessee le , et est promu major général à compter de cette date[6]. Il commande le corps de réserve de l'armée du Mississippi du au - désigné par la suite comme la « Withers' Division » dans « l'aile droite » jusqu'au [5].
L'armée du Mississippi est rebaptisée armée du Tennessee, le , et Withers mène sa 2nd division avec distinction lors de la bataille de Stones River du au . Sa conduite lors des combats est saluée par son chef de corps, le lieutenant généralLeonidas Polk, ainsi que par le commandant de l'armée, le généralBraxton Bragg[7]. Un récit de sa performance à Stones River (également appelé Murfreesboro) est le suivant :
« Lors de la bataille de Murfreesboro, sa division était postée à l'ouest de la rivière, et constituait la division centrale de l'armée, sa droite étant le pivot sur lequel le mouvement de l'armée s'est appuyé avec succès le 29 décembre. Sa compétence et sa bravoure dans la bataille ont été grandement louées par Polk et Bragg. Sa division a dû faire le travail le plus dangereux et difficile de la journée, et ils ont combattu noblement, mais avec de terribles pertes de 2500 hommes sur les 7700 engagés [4] »
Withers commande sa division jusqu'à ce qu'il démissionne de l'armée confédérée le , mais est rapidement rétabli à son rang de major général une semaine plus tard. Il reçoit le commandement du district de l'Alabama du Nord, dans le département de l'Alabama, du Mississippi, et de Louisiane orientale du au . Puis, il commande les forces de réserve de l'Alabama, du au . Il est libéré sur parole à Meridian, Mississippi, le , après la reddition du département et la fin de la guerre[5].
Après la guerre
Withers est gracié par le gouvernement des États-Unis le , et retourne à la vie civile, dans l'Alabama[5]. Withers reprend son travail d'avocat, et devient courtier en coton et l'éditeur du journal Tribune de Mobile. Brièvement, en 1867, Withers est une fois de plus le maire de la ville de Mobile, et de 1878 à 1879, il est trésorier de la ville[2]. Withers meurt en 1890, à Mobile, et est enterré dans le cimetière de Magnolia[5].