Babası Kıbrıs Türkü olan Terim futbola Ceyhanspor'da başladı. Türkiye 2. Ligi'nde şampiyon olarak 1. Lige geçen Adana Demirspor'da sergilediği oyun ile herkesin ilgisini üzerine çekti ve bir sonraki sezon Galatasaray'a transfer oldu. 1985'te futbola veda edene kadar
Galatasaray'da futbol oynayan Terim Galatasaray'da takım kaptanlığını da üstlendi. Galatasaray'daki oyunculuk kariyeri boyunca yürüttüğü kaptanlığı sayesinde tüm zamanların en sevilen Galatasaray oyuncularından biri haline geldi. Galatasaray formasıyla 327 maç oynadı. Sarı kırmızılı forma altında futbolculuk kariyeri boyunca lig şampiyonluğunu sevincini yaşayamadı ancak 2'şer kez Türkiye Kupası ile Başbakanlık Kupası ve 1 kez de Cumhurbaşkanlığı Kupası'nı kazandı.

7 Kez U-19, 10 kez Ümit Milli ve 51 kez de A Milli olmak üzere toplam 68 kez Türkiye Milli Futbol Takımı forması giyen Fatih Terim, bu maçlarda 2 gole imzasını atmıştır.

Ayrıca aralıksız 51 kez A Milli Takım forması giyerek bir kez daha adını Türk futbol tarihine yazdırmış oldu. 1987 yılında başladığı teknik direktörlük hayatı boyunca şu takımları çalıştırdı: Ankaragücü (1987-1989), Göztepe (1989-1990), Türkiye Ümit Milli Takımı (1990-1993), Türkiye A Milli Takımı (1993-1996, 2005-2009), Galatasaray (1996-2000, 2002-2004, 2011-…), Fiorentina (2000-2001), Milan (2001).

1 Temmuz 2011 tarihinde Türk Telekom Arena'da gerçekleştirilen törende, Galatasaray ile üç senelik resmi sözleşmeye imza atmıştır.

1993'te Ümit Milli Takımı Akdeniz Oyunları Şampiyonu yapan Terim, 2000 yılında ise Galatasaray ile UEFA Kupası'nı kazanmıştır. A Milli Takım'ı ilk kez bir Avrupa Şampiyonası'na (1996) götüren teknik adam olan Fatih Terim bu turnuvada gruptan çıkamasa da 2008 Avrupa Futbol
Şampiyonası'nda A Milli Takımı yarı finale kadar taşımıştır. Fatih Terim Galatasaray ile 5 lig, 2 Türkiye Kupası, 2 Cumhurbaşkanlığı Kupası, 1 Süper Kupa, 1 Atatürk Kupası kazanma başarısını göstermiştir.

12 Mayıs 2012 tarihinde Fenerbahçe Şükrü Saraçoğlu Stadyumu'nda takımının 18. lig şampiyonluğunu getirmiştir. Galatasaray'la sezonu zirvede tamamlayan Terim, kariyerinin 5. lig şampiyonluğunu elde ederken, lig tarihinde en fazla şampiyonluk kazanan teknik direktörü unvanını almıştır.

İtalya'da, Devlet Nişanı (italyanca: Ordine della Stella della Solidarieta İtaliana) ile Commendatore unvanı alan ilk Türk teknik direktördür.
2008 UEFA Avrupa Futbol Şampiyonası'nın en iyi teknik direktörü seçildi.

Ayrıca daha önce 2002 yılında düzenlenen UEFA Elit Teknik Direktörler Forumu'na davet edilen ilk Türk teknik direktör unvanını kazanan Fatih Terim, aynı organizasyona 2012 yılında tekrar davet edildi.