Denizli'nin Babadağ ilçesinde doğan Kazım Yılmaz ilkokulu İzmir ve İstanbul'da güçlükle tamamlayabildi. Ticaret yapan babası iflas edince zor günler geçiren Yılmaz hayata sıfırdan başladı. Müteahhitlik yaptığı sırada tatil için gittiği Muğla'nın Datça ilçesine hayran kalan Yılmaz burada bir otel yaptırdı. Maddi durumu iyi olsa da imkansızlıklar nedeniyle yarım kalan okuma isteği hiç bitmeyen işadamı, bu sevdasını başkalarında yaşatmaya karar verdi ve 1995'te Datça'da kendi adını taşıyan bir ilkokul yaptırdı. 5 yıl sonra yaptırdığı 24 derslikli turizm meslek lisesine de eşi Özcan Yılmaz'ın adını verdi. Peşinden Yılmazlar İlköğretim Okulu ve Reşadiye Kazım Yılmaz Okulu geldi. Bunlarla da yetinmedi, Muğla Sıtkı Koçman Üniversitesi'ne bağışladığı Datça Meslek Yüksekokulu ve 10 dairelik lojmanlarını, son olarak ise Datça Yılmaz Kardeşler Anadolu Lisesi'ni yaptırdı. TBMM tarafından üstün hizmet madalyasına layık görülen Yılmaz'a 'Okul Dede' adını veren Datçalılar vefalarını gösterip, hayırsever işadamının heykelini dikti, adını caddelere verdi. Prostat kanserine yakalanan Yılmaz, İstanbul'da tedavi görüyordu.
