В 1736—37 гг. оказался замешан в судебной тяжбе своего зятя Константина Кантемира (женат на сестре Голицына А. Д.) со его мачехой, княжной А. Н. Трубецкой за наследство его отца, князя Дмитрия Кантемира. По закону, имения Дмитрия Кантемира не могли быть разделены, а должны были быть отданы старшему сыну Кантемира от первого брака. Старшим сыном был Константин. При разделе Сенат решил дело (о какой-то доле наследства) в пользу мачехи Константина Анастасии Ивановны. Константин обратился в Верховный Тайный Совет.
4 декабря 1736 года высший суд обнаружил участие в этом деле А. Д. Голицына, затем и его отца Д. М. Голицына 2 января 1737 года был допрошен в Москве С. А. Салтыковым, а 28 января арестован. Голицын был лишен чина действительного статского советника и «написан прапорщиком в Кизлярский гарнизон», а имения его были конфискованы. Имущество жены было спасено по ходатайству её отца, а ей было предложено на выбор либо последовать за мужем, либо остаться в Москве. Она последовала за мужем.
22 января 1741 года был возвращён из ссылки правительницей Анной Леопольдовной с приказанием жить в своих деревнях безвыездно, а 17 сентября того же года был назначен сенатором[1] и возвращен титул действительного статского советника. В том же году возвращены ему и конфискованные имения.
После коронационных торжеств вышел в отставку и поселился в Москве. Последние годы посвятил воспитанию долгожданного сына Николая. Умер 29 января 1768 года в Москве. Похоронен в Богоявленском монастыре рядом с Голицыными-Михайловичами. После уничтожения некрополя надгробие экспонировалось в Донском монастыре.
Николай Алексеевич (1751—1809), шталмейстер, впоследствии посланник при шведском дворе; строитель ансамбля усадьбы в подмосковном селе Архангельском. С 1777 года был женат на своей двоюродной сестре по матери Марии Адамовне Олсуфьевой (1757—1821), дочери А. В. Олсуфьева. Брак этот был одним из первых, допущенных в России, браков между родственниками. Из многочисленного потомства Голицыных (16 детей) в живых осталось только три сына и одна дочь, остальные все умерли в раннем возрасте.