Karjaa mainitaan ensimmäisen kerran kirjallisissa lähteissä vuonna 1326.Karjaan kaupunkiin kuului myös Mustio (ruots. Svartå), joka sijaitsee Karjaan keskustasta n. 14 km Lohjan suuntaan. Mustio on ollut Suomen ensimmäisen rautaruukin sijoituspaikka 1500-luvun puolivälissä. Ruukin perustajana Ruotsin silloinen kuningas Kustaa Vaasa. Väitetään myös, että Suomen ensimmäisen auton olisi hankkinut Mustiolle kamariherra Hjalmar Linder 1900-luvun alussa. Säännöllinen rautatieliikenne Pasilan ja Karjaan välillä alkoi 1. syyskuuta 1903.Karjaan kirkonkylästä tuli kauppala vuonna 1930, ja samalla Karjaan kauppala erosi Karjaan maalaiskunnasta, johon Mustiokin kuului. Karjaan maalaiskunta liittyi 1. tammikuuta 1969 Karjaan kauppalaan ja vuonna 1977 Karjaa muuttui kauppalasta kaupungiksi.Ennen lakkauttamistaan Karjaan kunnallisveroprosentti ehti olla Suomen korkein, 21 prosenttia. Kaupunki oli kaksikielinen ja enemmistö, 59 prosenttia asukkaista, puhui äidinkielenään ruotsia ja 38 prosenttia suomea. Karjaa kuului Uudenmaan vaalipiiriin ja sen kaupunginvaltuustossa oli 35 kaupunginvaltuutettua.