После подписания Уоллингфордского договора25 декабря1153 года и вступления на престол Англии в 1154 году сына Матильды Генриха Плантагенета, началось наступление королевской власти на баронов, усилившихся в годы феодальной анархии. Роджеру Фиц-Милю в 1155 году было приказано вернуть удерживаемые им королевские замки, в частности Глостер, Херефорд и Сент-Бревелс. В ответ Роджер поднял мятеж против короля, однако вскоре был вынужден покориться и 13 марта 1155 года согласиться на передачу Глостера королю. Возможно, Роджер также был лишён титула графа Херефорда. Уже в мае 1155 года Роджер Фиц-Миль принял участие в походе Генриха II на Гуго де Мортимера, лорда Вигмора, который продолжал сопротивляться возвращению королевских замков. Мортимеры являлись одними из крупнейших англонормандских баронов средней части Валлийской марки и конкурентами Фиц-Милей в этом регионе. Возможно в ходе кампании против Гуго де Мортимера Роджер Фиц-Миль был тяжело ранен, поскольку в июле 1155 года он передал свои земли младшему брату Вальтеру Фиц-Милю, а сам удалился в Глостерский монастырь, где 22 сентября скончался.
Роджер Фиц-Миль был женат (до 1138) на Сесилии, дочери Пайна Фиц-Джона, шерифаХерефордшира и Шропшира. Детей они не имели. Владения Роджера Фиц-Миля перешли по наследству его брату Вальтеру Фиц-Милю (ум. 1159), а от него — их младшим братьям Генриху (ум. до 1163), Махелю (ум. 1164) и Вильяму (ум. 1165). После прекращения мужской линии потомков Миля ГлостерскогоБрекнокшир и Абергавенни достались мужу сестры Роджера Фиц-Миля Уильяму де Браозу, а титул графа Херефорда в 1199 году был восстановлен для племянника Роджера Генри де Богуна.