Il fut directeur de l'agence de renseignement israélienneMossad de 1952 à 1963. Il y amorça un changement dans l'influence mondiale des services secrets d'Israël[réf. nécessaire]. C’est lui qui eut l’idée de recruter Skorzeny que le Mossad comptait d’abord abattre et, dans le cadre de l’Opération Damoclès, de se servir de lui pour contrecarrer les savants allemands qui, après avoir travaillé à Peenemünde, s’étaient mis au service de l’Égypte pour continuer à combattre Israël. Après que l’ancien héros nazi eut accepté le marché (la vie sauve contre des informations et des services) il le reçut et lui donna les instructions nécessaires. Skorzeny exécuta parfaitement les ordres, surprenant même par ses dispositions à collaborer : il réunit un grand nombre d’adresses, envoya des colis piégés et abattit même un savant allemand jugé particulièrement dangereux[1].
Il fut également le chef de l'agence de contre-espionnageisraélienneShabak. À ce poste, il était au courant des projets d’assassinat visant Rudolf Kastner après son procès de 1955. Il intervient également en 1963 pour faire libérer Zeev Eckstein, le meurtrier de Kastner, alors qu’il était condamné à perpétuité[2].
Harel frappa un grand coup en se rendant à Washington en 1954 pour y rencontrer Allen Dulles, qui venait de prendre la direction de la CIA. Le petit Israélien offrit au maître espion américain une dague sur laquelle était gravée une citation biblique (Psaumes 121-4) : « Voici le gardien d'Israël qui ne somnole ni ne dort ». « Comptez sur moi pour garder l'œil ouvert avec vous », lui répondit Dulles (tiré du livre de Gordon Thomas Histoire secrète du Mossad de 1951 à nos jours).