O museu foi criado em 1967 e foi localizado pela primeira vez na Mesquita Juma, na Cidade Velha. A mesquita foi construída no século XV e depois renovada no século XIX. Sua primeira exposição foi realizada em 1972. Em 1992, após o colapso da
URSS, o museu foi transferido para o segundo andar do que hoje é o Centro Museo Baku, um edifício que originalmente tinha sido o museu de Lenin. A coleção foi nomeada em homenagem ao desenhista de tapetes Latif Karimov.
Planos para mudar a coleção para um novo prédio estão em preparação desde 2010, quando os tapetes azerbaijanos foram proclamados "uma obra-prima do patrimônio intangível" pela UNESCO. O novo edifício deveria abrir no final de 2012 e foi visitado pelo Presidente Ilham Aliyev em setembro de 2013, mas em março de 2014 o novo edifício ainda não havia aberto oficialmente suas portas ao público. Em abril de 2014, o museu foi renomeado Museu do Tapete do Azerbaijão, abandonando seu título oficial muito mais longo.