Le prime notizie su una città chiamata Cidamus risalgono al III secolo d.C.; posta al limite della zona di influenza romana nell'entroterra libico, serviva da base di partenza per le carovaniere che attraversavano il deserto e come avamposto militare contro le popolazioni dell'interno, seminomadi che i romani trovarono sempre difficili da controllare. A partire dal VI secolo diventò sede episcopale: i bizantini ampliarono la città con edifici mai usciti dall'uso e circondati da altre architetture nel corso dei secoli. L'arrivo degli arabi non tolse a Ghadames la sua importanza; nonostante le dimensioni relativamente ridotte (sui diecimila abitanti) la città ha conservato le funzioni che costituivano la sua stessa ragione di essere fino alla fine del XIX secolo, attraversando i secoli in condizioni di sostanziale indipendenza. I colonialisti riuscirono a pacificare la regione solo dopo il 1924; dopo la seconda guerra mondiale la città fu controllata per qualche tempo dai francesi e poi reintegrata nella sovranità libica.
La città vecchia è costituita da un insieme di costruzioni senza soluzione di continuità che inglobano tutti gli edifici più antichi; in molti di questi gli elementi architettonici che ancora si vedono fanno pensare, oltre ad un'età veneranda, che in origine gli ambienti avessero un'altezza considerevole e che soltanto il continuo calpestio e la sabbia portata dal vento nel corso dei secoli li abbiano fatti diventare come appaiono oggi, stanze il cui soffitto è alto poco più di un metro e mezzo dal suolo.
La Ghadames attuale è una specie di città-esempio della civiltà berbera, famosa anche per le palme da dattero che crescono in ogni angolo libero e tutt'attorno al centro. Una periferia anonima, fatta di abitazioni spaziose, è sorta a partire dagli anni Settanta; nonostante le vecchie case del centro siano in molti casi diventate delle case-museo, sono molto più fresche e sono unite tra loro da cunicoli completamente coperti, per cui vengono ancora usate come abitazioni durante l'estate.