Родился в 1814 году в г. Орехове Мелитопольского уезда Таврической губернии в обер-офицерской семье секретаря Василия Григорьевича Гулькевича и его жены Марии Ивановны.
Братья: Александр (?—1891) — генерал-лейтенант и Пётр (?—1883) — действительный статский советник.
В службе и классном чине с 1836 года.
С сентября 1840 года по ноябрь 1841 года старший помощник правителя канцелярии, а с мая 1843 года чиновник по особым поручениям Таврического губернатора.
31 мая 1847 назначен старшим столоначальником в отделение сельского хозяйства и горного производства в канцелярию Кавказского наместника в г. Тифлис.
В сентябре 1848 года уволен с должности старшего столоначальника в г. Тифлисе и уехал в поисках работы в г. Санкт-Петербург.
28 сентября 1849 года назначен секретарем канцелярии Кавказского комитета, с причислением к 1 отделению Собственной Его Императорского Величества канцелярии.
В 1857 году произведён в действительные статские советники, в 1864 году в тайные советники. В 1865 году назначен статс-секретарём Его Императорского Величества с оставлением в должности управляющего делами Кавказского комитета[2].
Был награждён всеми российскими орденами вплоть до ордена Святого Александра Невского, пожалованного ему в 1873 году.
1 ноября 1876 года получив от императора отпуск на 4 месяца в связи с болезнью, выехал на лечение во Францию.
27 ноября 1876 года умер, находясь на лечении в Ментоне близ Ниццы во Франции.
18 декабря 1876 года в 13 часов поезд с гробом прибыл в Санкт-Петербург на станцию Варшавской железной дороги, откуда тело в сопровождении кортежа перевезли в церковь Воскресенского Новодевичьего монастыря, где произошло отпевание и погребение на монастырском кладбище.
Пономарёв В. П., Шабанов В. М. Кавалеры Императорского ордена Святого Александра Невского, 1725—1917: биобиблиографический словарь в трёх томах. Том 1. — М., 2009 г. — С. 315—316. — ISBN 978-5-89577-145-7
Большая кубанская энциклопедия : БКЭ: [в 6 т.] / Пред. ред. совета М. К. Ахеджак. — Краснодар: Центр информационного и экономического развития печати, телевидения и радио Краснодарского края, 2005 г. — Т. 1. — 410 с. — ISBN 5716405282.
В. Озерский Статс-секретарь Н.В. Гулькевич: штрихи к портрету, Краснодар Перспективы образования 2019г. 120 с. (ISBN: 978-5-93749-253-1 / 9785937492531)