O Haut-Rhin é um dos 83 departamentos originais criados durante a Revolução Francesa em 4 de março de 1790. Foi dividido em três distritos: Altkirch, Belfort e Colmar, com Colmar como capital.
Em 1800, com a criação dos arrondissements na França, os três distritos foram transformados em cinco arrondissements: Colmar, Altkirch, Belfort, Delémont e Porrentruy. Os arrondissements Delémont e Porrentruy foram eliminados em 1814 e transferidos para a Suíça.
A subprefeitura de Altkirch foi transferida para Mulhouse em 1857.
O departamento de Haut-Rhin foi eliminado em 1871 quando o território passou a fazer parte da Alemanha, exceto por uma parte que forma o Territoire de Belfort.
Em 1919, Haut-Rhin é novamente um departamento quando o território se tornou parte da França com os arrondissements Colmar-Ville, Colmar-Campagne, Altkirch, Guebwiller, Mulhouse, Ribeauvillé e Thann. Sua capital é Colmar.
Os arrondissements Colmar-Ville e Colmar-Campagne foram combinados em 1934 para formar o arrondissement de Colmar.
O arrondissement de Guebwiller foi eliminado em 2015 e seu território combinado com a Tharn para formar o arrondissement de Thann-Guebwiller. Nesse mesmo ano, o arrondissement de Ribeauvillé também foi eliminado e seu território combinado com Colmar para formar o arrondissement de Colmar-Ribeauvillé.
