Fils de Gérard III, comte de Gueldre et de Marguerite de Brabant, il est aussi le cousin de l'anti-roi Guillaume de Hollande. Le pape Innocent IV le dispense de l'obligation de prendre les Ordres religieux à cause de son jeune âge. Un suffragant remplit ses fonctions épiscopales.

Bon administrateur et redoutable homme de guerre, c’est au prince-évêque Henri de Gueldre (1247-1274) que l’on doit la première citadelle de Liège en 1255 (détruite 14 ans plus tard) pour assurer son autorité sur les Liégeois mis à dos. Sa violence et sa débauche, lui valent bien vite le surnom de « Grand Ribaud ». Il permet la célébration de véritables orgies dans la Cité :  les "fêtes de la Reine". Cela atteint un tel sommet, que l’archidiacre de Liège Thibaut Visconti lui reprochant sa conduite et reçoit pour réponse un coup de pied au bas-ventre. Mais en 1271, ce même religieux devint pape sous le nom de Grégoire X (1271-1276).

Henri de Gueldre convoqué devant l’assemblé et le pape, est destitué de ses fonctions d’évêque en 1274. Il saccage alors le pays à la tête d’une bande de brigands jusqu’en 1283/85 où dans le marquisat de Franchimont il aurait été tué d'un coup d'épée.