Annesi Ermeni asıllı Toto Karaca ve babası Azeri asıllı tiyatrocu Mehmet Karaca olan Cem Karaca, sanatla iç içe büyüdü. Ortaöğrenimini Robert Kolej'de yapan Cem Karaca'nın müzikle tanışması oldukça ilginçtir. Ergenlik çağındayken hoşlandığı kızı etkilemek amacıyla şarkı söylemeye başlamış ve bu başlangıcın ardından devam eden olaylar sonucu kendisini müzik piyasasının içinde bulmuştur. Karaca'nın sesinin keşfedilmesi ise annesi Toto Karaca tarafından olmuştur. İlk dönemlerde Jaguarlar, Dinamitler gibi gruplarla amatörce çalışmalar yapan Cem Karaca popüler rock'n'roll parçalarını söylüyordu. O dönemlerde kendisinin en büyük destekçilerinden biri de İlhan Gencer'di ve onun orkestrasında müzikal deneyimini oldukça ilerletmişti. Bu yıllarda aynı zamanda tiyatro ile de ilgilenen Cem Karaca çeşitli oyunlarda da görev aldı. Askerliği sırasında Anadolu'nun ilkokul kitaplarında anlatıldığı gibi olmadığını fark etti. Asker arkadaşının çaldığı bağlama ise onu bambaşka diyarlara taşıdı. Bir zamanlar ilkel ve sıkıcı bulduğu müziğin kendi duygularını anlattığını keşfetti. 1967'de askerlik dönüşü Apaşlar grubuna katıldı. Bu grupla Hürriyet'in düzenlediği Altın Mikrofon yarışmasında Emrah isimli parçalayla ikinci oldular ve doğu-batı müziği sentezinde şarkılar üretmeye çalıştılar. 'Resimdeki Gözyaşları' isimli parçayla büyük başarı elde eden Apaşlar'la Batı Almanya'ya gitti. Apaşlar'la olan beraberliği 1969'un sonlarına kadar sürdü. Grupta gitarist Mehmet Soyarslan ve Cem Karaca arasında doğan bazı politik anlaşmazlıklar sonucu Cem Karaca ve Apaşlar dağıldı. Apaşlar'ın basçısı Seyhan Karabay ile birlikte Kardaşlar grubunu kurdu. Bu sırada Almanya'ya giderek Ferdy Klein Orkestrası'yla dört tane 45lik doldurdu. Amacı maddi sıkıntı yaşamadan çalışmalar yapmaktı. İlk 45'likleri 'Dadaloğlu' ile büyük bir başarı elde ettiler. Fakat 1972'de Seyhan Karabay arasındaki tartışmalar nedeniyle Kardaşlar'la yolları ayrıldı. Bu sırada eşi benzeri görülmemiş bir değiş-tokuş meydana geldi. Cem Karaca, Kardaşlar'dan ayrılıp Anadolu Rock'ın güçlü sesi Moğollar'la birleşirken Kardaşlar da Moğollar'la anlaşamayan Ersen Dinleten'i gruplarına dahil etti. Üç 45'lik çıkaran Karaca, Moğollar'ın dağılmasıyla kariyerinin en önemli dönemini yaşayacağı Dervişan grubunu kurdu. Dervişan politik rockın yanısıra progressive rock'ın Türkiye ile tanışmasında önemli rol oynadı. Aynı zamanda tam anlamıyla ilk stüdyo albümünü bu grupla çıkardı: 'Yoksulluk Kader Olamaz'. Dervişan'ın dağılmasından sonra Edirdahan isimli grubu kurdu. Yeni albümü 'Safinaz'la eski başarısını elde edemedi. Bu albümden sonra Almanya'ya gitti ve 1987'ye kadar sürgün hayatı yaşamak zorunda kaldı. Bu dönemdeki çalışmalarında sık sık gurbet acısı gibi temaları işledi. Bu süre içindeki en iyi albümünü Almanca olarak çıkardı: 'Die Kanaken'. Bu albümde yabancı düşmanlığı, gurbetçilerin yaşamı gibi konuları işledi. Albümdeki bazı parçaların Türkçesini sonraki albümlerinde kaydetti. 'Die Kanaken' albümünün arka kapağında kendisiyle ilgili şunlar yazılıydı: Cem Karaca ülkesi olan Türkiye'de bir rock yıldızı. Ülkesinde 50'ye yakın 45'lik ve LP yayınlayan Karaca'nın parçalarının çoğu sosyal içerikli sözlere sahip. 1981'in ocak ayında Almanya'dayken son albümü yüzünden ülkesinde aranmaya başladı. Bunun üzerine Karaca, ülkesine geri dönmedi. Mallarına el konan şarkıcı 200 yıl hapis cezasına çarptırıldı ve 1983'te de darbeci generaller onu Türk vatandaşlığından attılar... Almanya'da daha çok Nazım Hikmet'in şiirlerini seslendirmesiyle tanınan Karaca, ilk olarak 1983'ün başlarında Almanca sözlerle ve doğu-batı sentezinden oluşan bir müzikle seyirci önüne çıktı... Amacı Türkiye'de olan biteni anlatmak değil, burada olup bitenleri anlatmak ve Alman-Türk ilişkilerini düzeltmeye çalışmak. Şarkıları yabancı düşmanlığı ve ırkçılıkdan bahsediyor. Yurda döndüğü zaman Turgut Özal'ın elini öptüğü iddia edildi ve döneklikle suçlandı. Hem Cem Karaca hem de Özal ailesi bu iddianın gerçek olmadığını ısrarla belirttikleri halde, sanatçı yine de 12 Eylül bozgununa sorumlu arayan eski solcuların günah keçisi olmaktan ve dışlanmaktan kurtulamadı. Bu aydın sapmasını hicvettiği 'Yarım Porsiyon Aydınlık' adlı şarkısında 'hiç bir şey üretemeden sadece eleştirirsiniz' diyerek kırgınlığını dile getirdi. Seksen sonrası dönemde müzik yapımcılarının desteğini alamadan çıkardığı albümler o yıllar büyük ses getirmemesine karşın, yıllar içinde şarkılar değerini buldu. Oh Be, Kahya Yahya, Hep Kahır gibi hit şarkılar bu dönemde çıktı. Ülkesine yeniden dönüşünden sonra ilk albümünü 1987'de eski arkadaşı Cahit Berkay'la birlikte yaparlar. 'Merhaba Gençler Ve Her Zaman Genç Kalanlar'. Bundan bir sene sonra 1988'de, aranjör Oğuz Abadan'la birlikte 60'lı yılların sonunda yaptığı çalışmalarda da olduğu gibi, orkestrasyona ağırlık vererek, yaylı varyasyonlarının hakim olduğu bir başka çalışmayı gerçekleştirirler: 'Töre'. 1990 ve 1992'de Uğur Dikmen ve Cahit Berkay'la 'Yiyin Efendiler' ve 'Nerde Kalmıştık' albümleriyle biraz da olsa eski günlerine döndü. 1997'de çekilen 'Ağır Roman' filminde seslendirdiği 'Resimdeki Gözyaşları' ile yeniden popüler oldu. 1999'da Cahit Berkay, Engin Yörükoğlu, Ahmet Güvenç ve Uğur Dikmen'in desteğiyle 'Bindik Bir Alamete...' isimli albümünü çıkardı. Son albümü de sayılabilecek olan bu albüm eski günlerin gürül gürül Cem Karaca'sının yeniden geri döndüğü başarılı bir çalışmadır. 'Kahpe Bizans' filmi için üç parça kaydedip, filmde küçük bir rol aldı. 2000'li yıllarda çeşitli şiir çalışmaları da yaptı. Barış Manço'nun efsanevi grubu Kurtalan Ekspres'le birleşerek konserler verdi. Son olarak Yol Arkadaşları isimli grubuyla sahneye çıkan ve bu grupla son albümü Hayvan Terli ve Murathan Mungan albümündeki Göç Yolları isimli şarkıyı kaydeden Cem Karaca, 8 Şubat 2004'de hayata gözlerini yumdu.