Sivas'ın Gürün ilçesinde 1961 yılında doğdu. Gürün Cumhuriyet İlkokulu ve Gürün Ortaokulunda öğrenim gördükten sonra İstanbul Haydarpaşa
Lisesini bitirdi.

İstanbul Yüksek Denizcilik Okulu (İstanbul Teknik Üniversitesi Denizcilik Fakültesi) Makine Bölümünden 1982 yılında; İstanbul Üniversitesi Hukuk Fakültesinden 1987 yılında mezun oldu.

İsveç Dünya Denizcilik Üniversitesinde "Gemi İşletmeleri Teknik Yönetimi" alanında ve Marmara Üniversitesi Sosyal Bilimler Enstitüsü Özel Hukuk Ana Bilim Dalında iki ayrı Yüksek Lisans yaptı.

Ankara Üniversitesi Sosyal Bilimler Enstitüsü Özel Hukuk alanında doktorasını tamamladı.

Kamuda ve özel sektörde yaklaşık 20 yıl mühendis ve müşavir avukat olarak hizmet verdikten sonra 31 Aralık 2002 tarihinde Denizcilik Müsteşarı olarak atandı.

Türk Telekom Yönetim Kurulu Başkan Vekilliği görevini yürüttü.

Türkiye Cumhuriyeti Anayasasının 114′üncü maddesi uyarınca bağımsız olarak 08 Mayıs 2007 tarihinde Ulaştırma Bakanı oldu.

Kültür ve Turizm Bakanlığı Müsteşarlığı görevine 01 Kasım 2007 tarihinde atandı.

Dr. İsmet Yılmaz, 12 Haziran 2011 tarihinde yapılan genel seçimlerde Sivas'tan AK Parti Milletvekili olarak seçildi.

61′inci Hükümette Millî Savunma Bakanlığı görevini 07 Temmuz 2011 tarihinde üstlenmiştir.

Evli ve üç çocuk babası olan İsmet Yılmaz, İngilizce bilmektedir.