Après son stage à Caen, il devient en 1984 juge d'instruction à Douai, puis à Chartres. En 1989 il est nommé au tribunal de grande instance de Créteil, toujours comme juge d'instruction. En 1994 débute l'affaire des HLM de Paris dans laquelle le juge Halphen prendra une place prépondérante (voir paragraphe suivant). À la suite de cette affaire, il annonce en 2002 sa mise en disponibilité temporaire (pour une durée de cinq ans) de la magistrature et se destine alors à une carrière littéraire et politique. Il écrit un livre de souvenir de sa carrière de juge d'instruction (Sept ans de solitude), puis un roman policier et un recueil de nouvelles sur le rugby.
Fin 2006, il annonce la fin de sa mise en disponibilité et est réintégré début 2007 dans la magistrature ; il est alors affecté à la 3e chambre du tribunal de grande instance de Paris chargée des questions de propriété intellectuelle, un poste moins « sensible » selon lui[2]. En 2008, il rencontre le braqueur Abdel Hafed Benotman, auteur de romans policiers lui aussi, dans le cadre d'un échange littéraire[3].
En 1994, début de l'affaire des HLM de Paris : il enquête à partir de sur un réseau de fausses factures entre Jean-Claude Méry et des entreprises prestataires de services pour les HLM de Paris. Jean-Claude Méry, ex-membre du comité central du RPR, est écroué en . L'enquête s'oriente aussi vers les Hauts-de-Seine, dont l'office d'HLM (HLM des Hauts-de-Seine) est dirigé par deux proches de Charles Pasqua, Didier Schuller et Patrick Balkany. En , Jean-Pierre Maréchal, son beau-père, est arrêté à Roissy alors que Didier Schuller lui remet une mallette d'argent. Il s'agit en fait d'une opération de déstabilisation le concernant. Didier Schuller s'enfuit à l'étranger et reviendra de cavale en 2002.
En 1996, l'ancien no 2 de l'OPAC, François Ciolina, dénonce les travaux réalisés dans l'appartement en HLM du fils de Jean Tiberi. En , le juge Halphen perquisitionne au domicile du maire de Paris. Dans l'escalier, prévenus par leur hiérarchie, les policiers refusent de l'assister. Ils seront sanctionnés. En 1999, Jean Tiberi est mis en examen pour « complicité de trafic d'influence ». Le maire, en qualité de patron de l'OPAC, se défend d'avoir commis la moindre irrégularité. En , le juge boucle son dossier.
En 2000, Le Monde publie les aveux posthumes de Jean-Claude Méry, filmés par le journaliste Arnaud Hamelin en et qui constituent la fameuse « cassette Méry ». Éric Halphen relance son enquête, même si dans un entretien télévisé, le président en exercice Jacques Chirac, présumé au centre de l'affaire, qualifie les accusations de la cassette d'« abracadabrantesques ». En 2001, il convoque Jacques Chirac comme simple témoin. À l'Élysée, certains parlent alors de « forfaiture » et le Président de la République estime que sa fonction lui interdit de se rendre dans le bureau du juge d'instruction. Après les nouveaux aveux de François Ciolina, le juge Halphen estimera les charges « suffisantes » pour envisager cette fois une mise en examen de Jacques Chirac. Il se déclarera alors incompétent, en tant que juge judiciaire et demandera qu'une instruction soit menée par la Haute cour de justice, compétente en cas de délits ou crimes commis, dans l'exercice de leurs fonctions, par les plus hautes autorités de l' Etat (président de la République et ministres). En , la chambre de l'instruction de la Cour d'appel de Paris estime que le juge ne pouvait pas relancer son dossier et annule toute la fin de la procédure. Il est dessaisi au profit d'un autre juge d'instruction, Armand Riberolles.
Le Bal des outrés : propositions en réponse à ceux qui veulent tuer le juge d'instruction, Paris, éditions Privé, 2006, 231 p. (ISBN978-2-35076-021-6) (BNF40174583)
Vases communicants (illustration de frontispice par Roger Blachon), Saint-Julien-Molin-Molette, éditions et imprimerie du Pré Battoir, coll. « Carnets des sept collines » no 28, 2007, 47 p. (ISBN978-2-915412-91-8) (BNF41172204)