Henri Parmentier passe sa jeunesse à Paris. Bachelier ès lettres et ès sciences en 1888-1890, il entre à l'École des beaux-arts, section architecture, en 1891. Attaché au service d'architecture de Tunis, il débute dans l'archéologie par un relevé et une restitution du temple de Saturne-Baal à Dougga (mention honorable au Salon des Artistes français, en 1896). Nommé pensionnaire-architecte de l'EFEO naissante, il débarque en novembre 1900 en Indochine, qui va devenir sa deuxième patrie. Sa première mission consiste en l'étude et la sauvegarde des monuments cam, très peu connus à l'époque et souvent confondus avec des temples khmers. Après un repérage complet, il entreprend avec Ch. Carpeaux de longues campagnes de fouilles sur les sites de Mi Son en 1903-1904, de Dong Duong, de Chanh Lô en 1905 et de restauration des temples de Po Nagar en 1905 et de Po Klaung Garai en 1908.

Ses études et relevés des monuments cam sont publiés dans l'Inventaire descriptif des monuments cams de l'Annam, dont le premier volume (description des monuments) paraît en 1909 et le second (étude de l'art cam) en 1918. Ils lui valent le Prix d'archéologie coloniale.

En 1904, il est nommé chef du service archéologique de l'EFEO et organise, en compagnie d'H. Dufour et Ch. Carpeaux, une première mission à Angkor. Les trois archéologues effectuent un relevé complet des bas-reliefs du Bayon. H. Parmentier obtient en 1905 le diplôme d'architecte dplg en présentant une étude sur un type d'habitat adapté aux conditions climatiques du Tonkin.

En novembre de cette même année, il organise la Conservation d'Angkor et, en 1908, l'installation des collections du musée de l'EFEO à Hanoi. Il réalise les plans du musée d'art cam de Danang, qui sera achevé en 1919 et agrandi en 1936. Le musée recevra officiellement, à cette occasion, le nom de musée Henri Parmentier.

En 1907, l'École commence un programme de travaux sur le site d'Angkor ; H. Parmentier met en place un programme de conservation des édifices. En 1911, l'étude des temples de Sambor (Kompong Thom), jusque-là considérés comme cam, l'amène à définir un nouvel art : l'art pré-angkorien. Il étudie, entre autres, les bas-reliefs du grand temple de Bantey Chmar, les temples de Vat Phu, de Vat Nokor, l'architecture khmère ancienne d'après les bas-reliefs du Bayon et, en collaboration avec L. Finot et V. Goloubew, en 1926, le temple de Bantey Srei.

En 1932, il dégage le temple du Krol Roméas sur le Phnom Kulen. Atteint par l'âge de la retraite, mais choisissant de continuer à travailler pour l'EFEO, il est nommé Chef honoraire du Service archéologique. En 1933, il décide de mettre à jour L'inventaire des monuments indochinois de Lunet de Lajonquière, mais sa santé affaiblie par ses nombreux séjours dans la brousse ne lui permet pas de poursuivre ce travail sur le terrain. Il se fixe alors définitivement au Cambodge et rédige un ouvrage sur l'art architectural hindou en Inde et en Extrême-Orient. Il consacre les dernières années de sa vie à la réalisation d'un travail sur l'art du Laos, mais le pillage de sa bibliothèque, lors de l'occupation japonaise, le prive d'une partie de sa documentation. Il meurt le 22 février 1949 à Phnom Penh.

Il avait assuré par deux fois la direction de l'EFEO par intérim : du 2 juillet 1909 au Ier novembre 1910 et du 7 mai 1918 au 8 décembre 1920, soit durant un total de trois ans. Outre ses travaux archéologiques, il rédigea de nombreux guides et catalogues : du musée de Phnom Penh (BEFEO 12), de celui de Hanoi (1915) et de celui de Tourane (BEFEO 19), guides « Henri parmentier » sur l'art de l'Indochine (1936, 18 fasc.) et guide d'Angkor (1950). Il publia également dans la revue de Hanoi, Indochine, en 1944, des « Souvenirs d'un vieil archéologue indochinois ».