Vefatında kırk altı yaşlarında olduğu belirtildiğine göre 1172'de (1758-59) doğmuş olmalıdır. Bazı kaynaklarda Çerkez veya Gürcü asıllı olduğu, aslen Ahıskalı olan Vezir Silâhdar İbrâhim Paşa tarafından 1181'de (1767-68) III. Mustafa'ya takdim edildiği belirtilir. Enderun'da öğrenim gördükten sonra Şehzade Mehmed'in hizmetinde bulundu. III. Selim hükümdar olunca (7 Nisan 1789) mâbeyincilik ve tebdilcilik göreviyle hâne-i hassaya nakledildi ve beş altı ay kadar sonra başçuhadarlık makamına getirildi. Cevdet Paşa bu tayinin usule aykırı olduğunu belirtmektedir. Hüseyin Ağa bu görevde iken hükümdarın Beşiktaş'ta Ihlamur'daki nişan tâlimlerinde bulunduğu gibi Fransız elçisi H. Sebastiani ile İshak Bey arasında Osmanlı ordusuna verilecek yeni nizam çalışmalarına da katıldı. Böylece III. Selim'in sevgi ve takdirini kazanarak 16 Receb 1206'da (10 Mart 1792) vezâret rütbesiyle kaptan-ı deryâlığa tayin edildi ve ölümüne kadar bu görevde kaldı. Ayrıca I. Abdülhamid'in kızı Esmâ Sultan'la nikâhlanarak (7 Şevval 1206/29 Mayıs 1792) saraya damat olmuştur (düğün tarihi 5 Cemâziyelevvel 1207/19 Aralık 1792).
Hüseyin Paşa'nın kaptan-ı deryâ ve vezir olarak faaliyetlerini dört grupta toplamak mümkündür. Bunlardan ilki Ege denizinde korsanlarla yaptığı mücadeledir. Bu sıralarda Ege denizinde bazısı Rus bandıralı pek çok korsan Osmanlı tüccar gemilerinin seyrüseferine engel olmakta, bunları yağmalamakta, kıyılara da baskınlar düzenlemekteydi. Bu sebeple Küçük Hüseyin Paşa görevi devralır almaz denize açılmış ve korsanlardan on beş parça tekne ile etrafı kasıp kavuran Lambro isimli korsanı etkisiz hale getirmiş, Karakaçan adlı bir diğeri de yakalanarak idam edilmişti. Onun kısa süredeki bu başarıları padişah nezdinde itibarını arttırmakla birlikte diğer devlet adamlarını kıskandırmıştır. İkinci görev alanını Vidin seraskerliği sırasındaki faaliyetleri oluşturur. 1794'ten sonra âsilerin merkezi haline gelen Vidin'de PPazvandoğlu Osman'ın itaat altına alınmasına çalışılmış, fakat başarılı olunamayınca 27 Kasım 1797'de Bâbıâli'de toplanan Meclis-i Umûmî'de onun bertaraf edilmesine karar verilmişti. Bunun üzerine 1 Aralık 1797'de Kaptanıderyâ Küçük Hüseyin Paşa Vidin'e serasker tayin edildi. Onun İstanbul'dan uzaklaştırılmasını isteyen rakipleri bu tayinde etkili olmuşlar ve başarısızlığı halinde de itibarının azalacağını düşünmüşlerdi. Hüseyin Paşa bu görevi ilkbahardan önce cepheye hareket etmemek, görevi sona ermeden donanmaya dönmesi istenmemek ve Anadolu Valisi Seyyid Ali Paşa (Alo Paşa) Eflak'a gönderilmek kaydıyla kabul etti. Kendisine seraskerlik kürkü ve unvanı verilmemesi teklifi ise uygun bulunmadı. Küçük Hüseyin Paşa, 23 Şevval 1212'de (10 Nisan 1798) Vidin'e hareket ederek 22 Nisan'da kale yakınlarına ulaştı. Rumeli Valisi Mustafa Paşa, Anadolu Valisi Seyyid Ali Paşa ve Tepedelenli Ali Paşa ile diğer civar vilâyet valileri de orada toplanmışlardı. Vidin Kalesi karadan ve ince donanma vasıtasıyla Tuna'dan muhasara edildi. Etkili topçu ateşi şehirdeki bazı binaların yıkılmasına, yangınlar çıkmasına yol açtıysa da yeterli asker ve malzeme bulunmadığından beklenen sonuç alınamadı ve muhasara uzadı. Soğuk ve hastalıklar asker arasında ölümleri arttırdı, kumandanlar arasında geçimsizlikler de kuşatmayı etkiledi. 2 Temmuz 1798'de Napolyon'un Mısır'a çıkması üzerine Hüseyin Paşa geri çağrıldı. Bunun üzerine Hüseyin Paşa, Pazvandoğlu Osman'ın af taleplerini merkezî hükümet nezdinde destekleyerek hakkında idam fetvası olan âsiyi bağışlattı ve ona kapıcıbaşılık rütbesi verdirdi. Böylece bu meseleyi halletmiş ve başarısızlığını örtbas ederek Ocak 1799'da İstanbul'a dönmüştü.
Onun üçüncü faaliyet sahasını Mısır meselesi teşkil eder. Küçük Hüseyin Paşa, Vidin dönüşü donanma ile Akdeniz'e açılarak Mısır sahillerini abluka altına alan İngiliz donanmasına katıldı. Ancak bu ablukaya rağmen Napolyon'un Mısır'dan gizlice Fransa'ya kaçması önlenemedi (Ağustos 1799). Hüseyin Paşa Mart 1801'de kethüdâsı Hüsrev Ağa'yı 6000 kişilik bir kuvvetle karaya çıkarttı. Reşîd ve Rahmâniye şehirleri alındı, Fransızlar mağlûp edilerek teslim olmaya zorlandı. 27 Haziran 1801'de ise antlaşma yapıldı. Kahire'de Kansu Gavri Sarayı'nda Mısır ulemâsı toplanarak III. Selim adına fetih hutbesi okunduğu gibi kale anahtarları da İstanbul'a hükümdara yollanmıştı. Hüseyin Paşa'nın bu faaliyetleri ve kazandığı başarılar III. Selim'i çok memnun etmiştir.
Hüseyin Paşa'nın dördüncü grupta zikredilebilecek en önemli faaliyetini donanmada yapılan ıslahat oluşturur. Bu yolda öncelikle tersane ve donanma nizamında birtakım değişiklikler yaptı. Seferden dönüşte gemi mürettebatı bahriyelilerin memleketlerine gönderilmeleri usulü kaldırılarak bunların kış aylarında da tersanede kalıp tâlim ve terbiyelerinin devamının sağlanması, donanma kaptanlarının ehliyetlerine göre sınıflandırılması, kabahati olmayanların rütbelerinin indirilmesinin önlenmesi, marangozların donanma gediklileri arasına alınıp usta-işçi sınıfı meydana getirilmesi, kalyonların büyük ve küçük olarak ayrılması sağlandı. Ayrıca eğitime büyük önem verilerek 1793'te gemi inşasındaki uzmanlığı herkesçe kabul edilen Fransız gemi mimarı Jacques Balthasard le Brun, iki asistanı Jean-Baptiste Benoît ve Toussaint Petit ile birlikte İstanbul'a getirildi. Le Brun'ün teklifiyle tersanedeki mühendishânede eğitim hesap-hendese, gemi resim ve planı ile öğrenilen nazarî bilgilerin tatbikatı olmak üzere üç grupta düzenlendi. Öğrencilere coğrafya ve harita bilgisi de veriliyordu. Öğrenci sayısı yirmi olarak sabit tutulmuştu. Herhangi bir boşalma durumunda tersane mensuplarının çocuklarının onların yerlerine alınması öngörülmüştü. Öğrencilere aylık da bağlanmıştı. Eğitim hizmetleri yanında bu dönemde gemi yapımına hız verildi. Osmanlı donanması 1789-1798 arasında kırk beş yeni savaş gemisiyle takviye edildi. Bunlardan 1796'da denize indirilen Selimiye 122 top, 1200 mürettebata, 1797'de tamamlanan Bâdî-i Nusret ve ertesi sene donanmaya katılan Tâvûs-i Bahrî seksen iki topa ve 900 bahriyeliye sahipti. Donanmanın ateş gücü 2156 topa, asker sayısı da 40.000'e ulaşmıştı. Böylece Osmanlı donanması Avrupa'nın en güçlü donanmalarından biri haline gelmişti. Hasköy'deki Bahriye Mühendishânesi'nde le Brun'ün yanında Türk mühendisler yetişti ve bunlar başka tersanelerde görevlendirildi. Tersanede birkaç havuz inşa edilmiş, Tersane Sarayı da onarılmıştı.
Bütün bu faaliyetler sürerken Küçük Hüseyin Paşa 1803 Kasımında verem hastalığına yakalandı. Öleceğini hissettiği için bir vasiyetnâme yazıp bunu III. Selim'e sundu. Burada esas olarak borçlarının ödenmesi için hükümdardan ricada bulunmuş ve mallarının satışını istemişti. Çok geçmeden aynı yılın 8 Aralığında vefat ederek Eyüp'te Mihrişah Vâlide Sultan Türbesi'nin yanına defnedildi. "Gülşen-i aden ola mesken Kapudan Paşa'ya" mısraı Tarihçi Vâsıf'ın onun ölümüne düşürdüğü tarihtir.
Hüseyin Paşa'nın Napolyon'un Mısır'dan ayrılmasından sonra Fransızlar'la Osmanlı Devleti arasındaki dostluk münasebetlerinin tesisinde katkısı büyüktür. Bundan dolayı ölümü Paris'te üzüntü ile karşılanmış, bizzat Napolyon Osmanlı elçisi Hâlet Efendi'ye en sadık dostlarının Hüseyin Paşa olduğunu, onun ölümüyle III. Selim'den başka dostlarının kalmadığını söylemişti.
Kaynakların bildirdiğine göre Küçük Hüseyin Paşa kendini beğenmiş, haris, çabuk kızan bir mizaca sahipti. Bu sebeple vezirler arasında pek çok düşmanı vardı. Onun tersanedeki faaliyetleriyle ilgili olarak G. A. Ollivier tenkidî bir yaklaşımla bir devlet adamına yaraşır görüşlere ve bilgiye sahip bulunmadığını, iyi niyetli olduğunu, en ince ayrıntıyla bizzat uğraşıp işçilerin başından ayrılmadığını ve onları teşvik ettiğini, ancak sınırlı bilgi ve düşünceleri sebebiyle pek çok gemi yaptırmakla bahriyeyi ihya ettiğini zannettiğini, tayfa yetiştirilmesinde herhangi bir planı bulunmadığını, ticareti teşvik etmediğini, tersanedeki mektebe de gereken himayeyi göstermediğini belirtir. Bununla birlikte III. Selim'e sunduğu, ona atfedilen lâyihada yer alan bilgiler tersane ve donanma hakkındaki görüşlerini, bu konudaki derinliğinin derecesini ortaya koyar. Ayrıca 1801'de Mısır'da Fransızlar'a karşı giriştiği harekâtı konu alan Gazavât-ı Hüseyin Paşa adlı bir risâlenin varlığı bilinmektedir (Levend, s. 159). Mehmed Hafîd Efendi eserini onun denizcilikteki başarılarından dolayı kaleme almıştır. Kasımpaşa'da Hastahane Yokuşu'nda bir çeşme yaptırdığı belirtilir.
Kaynak: Türkiye Diyanet Vakfı İslam Ansiklopedisi