Esta ordem religiosa foi fundada por um cruzado calabrês, que, para cumprir um voto feito numa batalha, se retirou para o monte Carmelo, para as ruínas dum antigo mosteiro construído em 400 e habitado por anacoretas submetidos ás regras de S. Basílio. Nos primeiros tempos eram os carmelitas uns piedosos solitários, empregando-se em rezas e jejuns, ocupando-se a dar conforto aos viajantes que se perdiam pelo monte Carmelo. Em 1112 o patriarca de Jerusalém, Alberto de Verceil, reuniu-os em ordem religiosa, sujeitou-os à observância duma regra comum, que em 1171 o papa Honório III confirmou. Esta ordem foi-se depois desenvolvendo, e subdividindo-se, em Carmelitas conventuais, os que aceitaram os benefícios do papa Eugénio IV; Carmelitas observantes, os que ficaram fieis ás regras primitivas; Carmelitas descalços, os que aceitaram a reforma de Santa Teresa e de S. João da Cruz; Carmelitas terceiros, os religiosos instituídos no século XV por Sixto IV. 

Em Portugal estabeleceu-se esta ordem em 1250, por que aportando aqui uns cavaleiros malteses, que traziam consigo alguns frades carmelitas, fundaram em Moura um convento. Depois fundaram-se outras casas religiosas, chegando a haver em Portugal, no fim do século XVIII 12 conventos e 4 mosteiros de carmelitas calçados, que assim se designavam, depois da reforma de Santa Teresa e de S. João da Cruz, realizada em 1526, reforma que Pio VI aprovou. Gregório XIII separou os religiosos que seguiam os preceitos de Santa Teresa dos antigos carmelitas, ficando estes com a designação de calçados, e recebendo os outros o nome de carmelitas descalços. Foi João Soreth, geral dos carmelitas, quem em 1451, fundou a ordem das freiras, dando-lhe uma regra análoga à dos carmelitas conventuais, a qual foi aprovada pelo papa Nicolau V. 

Em 1 de Outubro de 1551 chegaram a Portugal o padre Ambrósio Mariano e outros; em pouco tempo fundaram no bairro da Pampulha um convento, e passando este à ser habitado pelos religiosos de S. João de Deus, os carmelitas se transferiram para a igreja de S. Crispim, onde se conservaram até ser concluído o convento vulgarmente, conhecido pelo nome de Marianos, porque também assim se chamava aos religiosos, por ter sido fundado por um frade de apelido Mariano. A rainha D. Mariana de Áustria introduziu em Portugal no ano de 1708 os carmelitas descalços alemães, que depois de residirem em umas casas ao Corpo Santo, passaram para a ermida da Ascensão, na calçada do Combro, e finalmente para o convento de S. João Nepomuceno, onde está hoje o asilo de Santa Catarina.