Yoros Kalesi yada Ceneviz Kalesi olarak adlandırılan kale yaklaşık 500 metre uzunluğunda ve 60-130 metre genişliğinde bir alana kurulmuştur.. Yoros Kalesi'nin adını, Yunanca'da dağ, tepe anlamına gelen "oros" kelimesinden almış olabileceği düşünülür. Ancak bu adın "kutsal yer" anlamına gelen Hieron'dan geldiği görüşüde oldukça yaygındır.Antik çağ tanrılarından Zeus'un sıfatı olan "uygun rüzgarlar" anlamına gelen ourios'tan geldiği de iddia ediliyor.
Doğu Roma zamanından kalma Kalenin kapladığı alan İstanbul çevresindeki diğer bütün kalelerin kapladığı alandan çok daha büyüktür. İç kesimdeki kulelerin bazıları hâlâ iyi durumdadır ve duvarlarda Yunanca yazıtlar göze çarpar.
Asya'dan gelen ve Karadeniz üzerinden Akdeniz'e ve Batı Avrupa kıyılarına ulaşan ticaret yolunu, 13. yy.'dan 15.yy.'ın ortalarına kadar ellerinde tutmaya çalışan Cenovalıların birkaç yerde gemilerine sığınak olmak üzere koloniler kurdukları bilinir. Bunlardan bir tanesi Kırım'da, Kefe'de, bir diğeri Anadolu kıyısında Amasra'da, en büyük ve önemlisi ise İstanbul'un karşısında Haliç girişinde, Galata'da idi. Ancak Cenovalılar veya halk dilinde söylendiği gibi Cenevizler, ticaretten başka bir şey düşünmeyen ve yapıcı olmayan bir topluluktu. Bizans'ın en zayıfladığı son yıllarda çok kısa bir süre için bu kaleyi de ele geçirmiş olabilirler. Fakat kalenin esas yapımı Bizans işidir.
Kalenin en yukarı kısmında, heybetli yarım yuvarlak iki burcun arasında, arkadaki araziye açılan bir kapısı vardır. Bu burçların dışarı bakan yüzlerinde işlenmiş salip ve bunun kolları arasında grek yazısı ile Hz. İsa'nın sıfatını ve adını belirten harfler görülür. Aynı girişin iç tarafında ise, yine mermer üzerine işlenmiş bir levha üzerinde takım grek harfleri vardır ki, bunlar ''despot Manuel'in unvan ve adını monogram halindeki harflerle belirtmektedir.
Türk ilerleyişi sırasında kale fethedilmiş ve buraya bir Osmanlı kuvveti yerleşmiştir. 14. yüzyılın başlarında, 1305'te kale, Şile Kalesi ile birlikte Türklerin eline geçmiş, ancak fazla bir süre elde tutulamamıştır. 1348'den itibaren de, Karadeniz ticaret yolu hakimiyetine sahip bulunan Cenevizliler buraya hakim olurlar. Fakat 14. yüzyılın sonlarında, Boğaziçi'nin Anadolu yakasına tamamen hakim olan Osmanlılar tarafından tekrar fethedilmiştir.
Bilindiği kadarıyla, kalenin içinde yerleşen garnizon ve Türkler için evler yapıldığı gibi, bir de II. Bayezid zamanında cami ile hamam inşa edilmiştir. Bugün bunlardan hiçbir iz yoktur. Kalenin bir duvarının aşağıda boğaz kıyısına kadar indiği anlaşılıyor. En yukarı kısımda ise, bu bölümü ayıran 3 burçlu bir perde duvarı vardır.
Yoros'un tarih içinde sıkça el değiştirdiği anlaşılıyor. Ceneviz idaresinde kaldığına dair belgelerden biri de L. Sauli'nin 1831 tarihli, Ceneviz idaresine dair kitabında yer alan ve Prof. Multedo adında bir kişi tarafından kalenin kapısı üstünden kopya edilen Latince bir kitabe. Tarih kısmı okunamayan bu kitabede "Cenevizli Vincenzo Lercari'nin kutsal burun üzerindeki kaleyi tamir ettirdiği" bildiriliyor.
Yıldırım Bayezid'in, 1391'de karayoluyla Kocaeli'nden büyükçe bir kuvvetle gelerek Yoros'a çıktığını, buradan da Yahşi Bey'i göndererek Şile Hisarı'nı teslim aldığını Âşık paşazâde yazıyor. Bayezid bundan sonra Yoros Kalesi'ni bir üs gibi kullanıyor. Ardından, Güzelcehisar'da denilen Anadolu Hisarı'nı yaptırdı. Bu, Konstantinopolis'i fethetme yolundaki hazırlıkların en önemli ayaklarından sayılıyor. Kalenin yakınlarındaki ormanlık bölgede, içinde buranın zaptı sırasında şehit düşenlerin mezarları olan bir şehitlik vardı.
1399 yılına gelindiğinde, Mareşal Boucicaut Karadeniz Boğazı girişinde yaptığı akında, o sırada artık Türklerin elinde olan Yoros Kalesi'ne saldırmaya cesaret edemiyor. Yapabildiği şey kalenin eteğindeki köyü yaktıktan sonra geri çekilmek oluyor. 1402'deki Ankara Savaşı'ndan sonra 1. Bayezid'in oğullarından Çelebi Mehmed, kardeşi Musa'ya karşı harekatı sırasında 1414'ten az önce Trakya'ya geçmek için Bizans imparatorundan yardım istiyor, kendisi de Bursa'dan çıkarak Yoros'a gelip konaklıyor.
1391-1414 arasında Yoros Kalesi Türklerin elinde. İspanya kralının elçisi olarak Timur'un yanına gönderilen Ruy Gonzales de Clavijo, Karadeniz'e açılırken gördüğü kaleyi "El Guirol de la Turquia" olarak adlandırıyor. Buranın bakımlı olduğunu ve içinde bir Türk garnizonu bulunduğunu bildiriyor.
Yoros Kalesi, Osmanlı devrinin içlerinde Boğazı koruyan daha modern tabyalarının yapılması ile askeri önemini kaybetmiş ve bir mesire yeri durumuna girmiştir. Son birkaç yüzyıl içinde, bilhassa çok sıcak yaz aylarında halkın Karadeniz'in serin havasından faydalandığı bir piknik yeri olarak tanınıyordu.
Ermeni yazar P. Ğ. İnciciyan, 18. yüzyılın sonları, 19. yüzyılın başlarında Yoros Kalesi içinde 25 evlik bir Türk mahallesi bulunduğunu, ayrıca muhafız olarak bir dizdar idaresinde 20 kişilik bir müfrezenin de burada kaldığını bildiriyor. Yoros Kalesi, 19. yüzyılda bir kez daha terk edildi.
Doğudan batıya, 500 metre kadar bir uzunluğu olan Yoros Kalesi, Karadeniz'e paralel olarak araziye yerleşir. Kalenin genişliği 60 - 130 metre arasında değişir. Bu tahkimat, Boğaz tarafında olanı daha alçak iki tepenin üstünü kaplar. Kalenin en güçlü kısmı, yüksek tepenin, doğuya, yani Anadolu'ya bakan tarafıdır. Bu da Yoros Kalesi'nin, Boğaz girişini kontrol etmek kadar, kara tarafından gelecek bir tehlikeyi karşılamak üzere düşünüldüğünü gösteriyor.
Evliya Çelebi ise verdiği bilgilerde kavak kasabasının içinde siyah renkli olan kalenin Yıldırım Han tarafından fethedildiği, Fatih Sultan Mehmed tarafından tamir edilip içine asker konduğu, çevresinin 200 adım ve dört bir yanının kestane ormanı kaplı olduğundan söz ediliyor.
Sarıyer'in tam karşı kıyısında bulunan kale sunduğu muhteşem Karadeniz ve Boğaz manzarasıyla ziyaretçilerini adeta büyülüyor.
