Ankara Pursaklar nüfusuna kayıtlı olan Ayhan Yılmaz 1963 yılında Altındağ'da doğdu. İlk, orta ve lise öğrenimini Ankara'da tamamladı. el-Ezher ve Medine İslam Üniversiteleri'nde İslam Hukuku alanında öğrenim gördü. Siyasi hayatına Refah Partisi'nde başlayan Ayhan Yılmaz sırasıyla, Refah Partisi İl Yönetim Kurulu Üyesi, Fazilet Partisi İl Başkan Yardımcısı, Ankara Büyükşehir Belediyesi Fazilet Partisi Grup Başkan Vekili, Ankara Büyükşehir Belediyesi Ak Parti Grup Başkan Vekili (3 dönem), Ak Parti Ankara İl SKM Başkanı (5seçim) Ak Parti Ankara İl Başkan Yardımcısı, 25. Dönem Ankara Milletvekili olarak görev yaptı. Evli ve 4 çocuk babası olan Ayhan YILMAZ iyi derecede Arapça bilmektedir ve ticaret ile uğraşmaktadır.