В 2000 году начал встречаться с актрисой Эми Полер. Они поженились 29 августа 2003 года[3]. Вместе они сыграли в фильмах «Лезвия славы: Звездуны на льду», «На Бродвее», «Весенний отрыв», сериалах «Замедленное развитие» и «Парки и зоны отдыха», а также принимали участие в озвучивании мультфильмов «Хортон», «Монстры против пришельцев» и «Ариэтти из страны лилипутов». От брака у них два сына — Арчибальд Уильям Эмерсон «Арчи» Полер-Арнетт (род. 25.10.2008)[4] и Эйбел Джеймс Полер-Арнетт (род. 06.08.2010)[5][6]. Они разошлись в сентябре 2012[3], а в апреле 2014 года Арнетт подал на развод[7], который был завершён в июле 2016 года.
27 мая 2020 года у Арнетта и его девушки Алессандры Браун родился сын Александр Денисон Арнетт[8].