Hekimbaşı Salih Efendi yalıyı XVIII. Yüzyıl başında iki oda bir sofadan oluşan küçük bir yapı olarak satın almış, daha sonra ilave inşaatlarla büyütmüştür. Kuzey kısmı selamlık, güney kısmı ise harem olarak inşa edilmiştir.
Selamlıkta güney bölümü gibi kazıklar üzerinde bulunmaktaydı. Kuzey tarafı büyük çiçek bahçesine, batısı denize, doğusu da yalının arkasındaki ormana bakan etrafı çepeçevre şark sedirleri ile döşenmiş, bu büyük salonun ortasına kadar deniz süzülerek girer, ortadaki kapaklar kaldırılarak etrafına limon saksıları dizilir ve denizin sesi dinlenirmiş. Bu bölüm Hekimbaşı'nın ortanca kızı Meliha hanım tarafından 1947 yılında yıkılarak satılmıştır.
Günümüze kadar ayakta kalmayı başaran harem kısmı ise Hekimbaşı Salih Efendi'nin eşi Payidar Hanıma kalan kısımdır. Payidar hanımın ölümünden sonra bu bölüm en küçük kızı Sakibe'ye geçmiş ve onun varisleri tarafından günümüze kadar korunmuştur.
Büyük botanik bahçesi Hekimbaşının büyük kızı Übeyde'ye kalmış, varisleri bahçeyi 1966 yılında satmışlardır.
Hekimbaşı Salih Efendi 1866 yılında Galatasaray'da gerçekleştirilen uluslararası karantina toplantısına başkanlık yapmıştır. Bu dönemde İstanbul da bulunan Avrupalı tıp bilginlerini Hekimbaşı Salih Efendi Yalısı'nda ağırlamış, davetler vermiştir. Orta katta, ön misafir odasında, bu kongrenin otuz üç kişilik üyelerinin birlikte çekilmiş fotoğrafı yer almaktadır. Resmin bulunduğu odadaki ve evin diğer bölümündeki eşyaların tümü Salih Efendi zamanından kalmadır.
