İsmet Yılmaz, 1982 yılında İstanbul Teknik Üniversitesi Denizcilik Fakültesi Denizcilik Meslek Yüksekokulu Makina bölümünü ve 1987 yılında da İstanbul Üniversitesi Hukuk Fakültesi'ni bitirdi.
1990 yılında İsveç Malmö Dünya Denizcilik Üniversitesinde Master derecesini "Gemi İşletmeleri Teknik Yönetimi" alanında yaptı. 2002 yılında Marmara Üniversitesi Sosyal Bilimler Enstitüsü Özel Hukuk Ana Bilim dalında, Özel Hukuk alanında Yüksek Lisansını tamamladı.
20 yıl kamuda ve özel şirketlerde Denizcilik sektöründe Mühendis ve Müşavir Avukat olarak hizmet verdi. 31 Aralık2002 ile 8 Mayıs 2007 tarihleri arasında Denizcilik Müsteşarlığında Müsteşar olarak görev yaptı. Evli ve 3 çocuk babasıdır.
Türkiye Cumhuriyeti Anayasası'nın 114 üncü maddesi gereğince 22 Temmuz 2007 Türkiye genel seçimleri öncesi tarafsız Ulaştırma Bakanı olarak görev yapmıştır. 31 Ekim 2007 tarihinden itibaren de Kültür ve Turizm Bakanlığı Müsteşarı olarak görev yapmıştır.
24. Dönem Sivas Milletvekili olarak TBMM'ye girmiştir. Adalet ve Kalkınma Partisi'nin 3. döneminde Vecdi Gönül'ün yerine Milli Savunma Bakanlığına atanmıştır.25. Dönem Sivas Milletvekili olarak TBMM'ye tekrar girmiştir.
