Elève du service de santé militaire, Harmand part en Cochinchine comme médecin auxiliaire de la marine en 1866. De 1875 à 1877 il effectue une série de voyages d'exploration au Cambodge, au Laos, en Annam. Il explore notamment les montagnes de l'Annam méridional , et le plateau des Bolovens. Il est nommé consul de France à Bangkok le 7 octobre 1881. Il continue ensuite une carrière diplomatique : commissaire général du gouvernement au Tonkin (1883), consul général à Calcutta (1885), ministre plénipotentiaire chargé de légation à Santiago (décembre 1890), envoyé extraordinaire et ministre plénipotentiaire à Tokyo (1894-1905) où il joue un rôle important au cœur des conflits sino-japonais et russo-japonais.