Er ließ sich 1976 auf dessen Rat hin vom MIT beurlauben, um bei Bolt Beranek and Newman praktische Erfahrungen zu sammeln. Er begann an Netzwerken zu arbeiten und unterbreitete der Advanced Research Projects Agency (ARPA) das Angebot für deren Ausschreibung zum Arpanet, das schließlich den Zuschlag erhielt. Kahn entschied, nicht zum MIT zurückzukehren, und war daraufhin zuständig für das Systemdesign des Arpanets. Darüber hinaus war er der Kommunikationstheoretiker beim Design des Interface Message Processors. Mit Steve Levy baute er zudem den kommerziellen Arpanet-Ableger Telenet auf.
1972 holte ihn Arpanet-Projektleiter Lawrence „Larry“ Roberts (der bald darauf auf Kahns Vorschlag hin zu Telenet wechselte) zur nun DARPA (Defense Advanced Research Projects Agency) umbenannten ARPA. Im Oktober desselben Jahres präsentierte er auf der International Computer Communication Conference (ICCC) das Arpanet mit 40 verbundenen Computern der Öffentlichkeit. Nach einem kurzen Umschwung zur Automatisierungstechnik kehrte er zu den Netzwerken zurück. Bei der DARPA hatte er die grundlegenden Ideen für das Transmission Control Protocol, als er an Projekten zur paketvermittelten Datenübertragung per Satellit und per Funk arbeitete. Angesichts des Problems, zwischen derartigen Netzen und dem Arpanet zu vermitteln, erkannte er die Notwendigkeit offener Netzwerkarchitekturen, die es unterschiedlichen Netzwerken unabhängig von der eingesetzten Hard- und Software erlauben, miteinander zu kommunizieren.
Ab Frühling 1973 unterstützte ihn Vinton G. Cerf, den er noch als Doktorand 1969 bei Tests des ersten Arpanet-Knotens an der UCLA kennengelernt hatte und der nun Assistenzprofessor in Stanford war, bei dem Projekt TCP. Bei der Entwicklung diente ihnen das ohne Mitwirkung Kahns für das ursprüngliche Arpanet entworfene Network Control Program (NCP) als Grundlage. Im September 1973 präsentierten sie eine erste Version, die im Mai 1974 auch veröffentlicht wurde, und die bereits zwischen TCP und IP unterschied.
Als Cerf 1976 zur DARPA kam, übernahm dieser von Kahn bis 1982 die Führungsrolle im Internet-Projekt und leitete die Weiterentwicklung von TCP.
Kahn wurde 1979 Direktor des Information Processing Techniques Office (IPTO) der DARPA. In dieser Position startete er die eine Milliarde US-Dollar teure Strategic Computing Initiative der USA, das bis dahin größte staatliche Projekt in der Computerforschung und -entwicklung.
1980 wurde TCP/IP vom amerikanischen Verteidigungsministerium als Standard anerkannt, und am 1. Januar 1983 wurde die NCP-Protokollsuite des Arpanets bei dessen Trennung vom MILNET wieder unter der Leitung Kahns auf TCP/IP umgeschaltet und damit die Grundlage des modernen Internets gelegt. Ein Jahr später gab Kahn das Internet-Projekt erneut ab, diesmal an Barry Leiner.
1985 verließ Kahn die DARPA und gründete 1986 die Corporation for National Research Initiatives (CNRI), deren Vorsitzender er ist. Die CNRI ist eine gemeinnützige Organisation, um Entwicklung und Forschung der Informations-Infrastruktur voranzutreiben. Dort förderte er u. a. die Idee der Digital Library und entwarf dafür mit Robert Wilensky die Grundlagen des Handle-Systems,[1][2] das als Rekonzipierung des Internets angelegt ist, und auf dem das Digital-Object-Identifier-Verzeichnis basiert. Ein Spin-off der CNRI ist die von Kahn und Cerf mitgegründete Internet Society.
Kahns Pionierrolle im Internet manifestiert sich etwa auch darin, dass sich zwei frühe Requests for Comments direkt auf Unterhaltungen mit ihm beziehen, RFC 6 (Conversation With Bob Kahn)[3] und RFC 372 (Notes On A Conversation With Bob Kahn On The ICCC).[4] Kahn selbst ist Autor von RFC 29,[5] RFC 136[6] und RFC 371.[7]