Cevdet Yılmaz 1 Nisan 1967'de Bingöl'de doğdu. Babasının adı Kemal, annesinin adı Fatma'dır.

Orta Doğu Teknik Üniversitesi Kamu Yönetimi Bölümü'nü birincilikle bitirdi. Yüksek lisansını ABD Denver Üniversitesi Uluslararası İlişkiler Bölümü'nde, doktorasını Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi Bölümü'nde tamamladı.

Başbakanlık Devlet Planlama Teşkilatı Müsteşarlığı'nda Planlama Uzman Yardımcısı olarak göreve başladı. Planlama Uzmanlığına atandı. Devlet Planlama Teşkilatı AB İle İlişkiler Genel Müdürlüğü görevini yürüttü. AB Eğitim ve Gençlik Programları Merkezi İzleme ve Yönlendirme Komitesi Üyeliği, Ulusal Ajans, ATAUM ve Sümerhalı'da Yönetim Kurulu üyeliklerinde bulundu.

22 Temmuz 2007 tarihinde yapılan genel seçimlerde Bingöl'den Milletvekili seçilerek Meclise girdi. 23. Dönem'de Türkiye-AB Karma Parlamento Komisyonu Üyesi ve Parlamentolararası Birlik (PAB) Türk Grubu Başkanı oldu.

01 Mayıs 2009 tarihinde 60. Hükümette Devlet Bakanı olarak görevlendirildi.

24. Dönem'de Bingöl'den tekrar Milletvekili seçilen Cevdet Yılmaz 61. Hükümet'te Kalkınma Bakanı olarak atanmıştır.

Çok iyi düzeyde İngilizce bilen Yılmaz, evli ve iki çocuk babasıdır.