Mustafa Sarp 2002-2004 yılları arasında, ikinci lig takımlarından Mersin İdman Yurdu'nda top koşturduktan sonra, Ankaraspor'a transfer olarak birinci lige yükseldi. Ankaraspor'da geçirdiği iki başarılı sezondan sonra, ligin başarılı grafiği yükselen takımlarından Kayseri Erciyesspor'a transfer oldu.

2006-2007 sezonunda, Kayserispor forması altında 26 Süper Lig ve 10 kupa maçına çıkan Sarp, 2007-2008 futbol sezonunun başlangıcında Bursaspor kadrosuna geçti. Bursaspor'da ofansif orta saha pozisyonunda oynayan ve yer aldığı pek çok maçta kritik n lehine çeviren başarılı futbolcu, kaliteli oyunuyla seyircilerden de büyük beğeni topladı ve Galatasaray yönetiminin dikkatini çekti.

2009-2010 sezonu başında Galatasaray kadrosuna katılan Mustafa Sarp, yeni takımıyla ilk golünü, 23 Temmuz 2009 tarihinde, Kazak futbol takımı F.C. Tobol Kostanay karşısında kaydetti ve bu golle takımını 1-0 öne geçirdi.

İlk milli maç tecrübesini, 2006 yılında, Çek Cumhuriyeti'ne karşı yapılan hazırlık maçında kazanan Mustafa Sarp, Fatih Terim tarafından Estonya maçının kadrosuna alınsa da forma giyme şansı bulamadı.

1999-2002 – Gaziosmanpaşaspor 93 (16)

2002- 2004 – Mersin İdman Yurdu 61 (4)

2004-2006 – Ankaraspor 52 (2)

2006-2007 - Kayseri Erciyesspor 36 (2)

2007-2009 - Bursaspor 64 (8)