Celustka futbola Çek Cumhuriyeti'nin FC Tescoma Zlin takımında başlamıştır, ilk profesyonel maçına ise Çek Gambrinus Ligi'nin 2007–08 döneminde çıkmıştır. Bu dönemden sonra takımında düzenli olarak forma şansı bulmuştur.

Zlin takımında gösterdiği performansla, Çek Cumhuriyeti'nin en çok kupa kaldıran kulüplerinden Slavia Prag'a transfer olan Celustka, burada 14 maça çıkmış ve ilk golünü Gambrinus Ligi'nin ilk yarısında kaydetmiştir.

Celustka, 1 Şubat 2010'da Seria A takımlarından Palermo ile sezon sonu satış opsiyonuyla birlikte kiralık sözleşme imzalamıştır. Kendisine 89 numaralı forma verilmiş ve oyuncu forma adı olarak Rosanero takma adını kullanmıştır.

"Rosanero" takma adıyla çıktığı ilk maç; Bologna ile oynanan ve 3-1 kazanılan maç olmuştur. Bu maçta Celustka oyuna; ikinci yarıda Marco Calderoni'nin yerine dahil olmuştur. Ancak bu maçın dışında Palermo formasını giyemeyen Celustka; sezon sonunda eski takımına geri dönmüş ve ikinci Prag macerasında çıktığı 27 maçta 1 gol kaydetmeyi başarmıştır.

Oyuncu 2011-12 trasfer dönemindeyse, Prag'a ödenen 1 milyın 100 bin Avro bonservis ücreti karşılığında, Süper Lig takımlarından Trabzonspor ile 5 yıllık sözleşme imzalamıştır.

Trabzonspor ile ilk maçına ise 17 Temmuz 2011'de Charleroi SC ile oynanan hazırlık maçında çıkmış, bu maçta doksan dakika mücadele etmiştir. Ayrıca Trabzonspor'daki ilk resmi maçına 27 Temmuz 2011'de Benfica, ilk lig maçına ise 10 Eylül 2011'de oynanıp 1-1 sona eren Manisaspor karşılaşmasında çıkmıştır.

Trabzonspor'un UEFA Şampiyonlar Ligi'nde Inter'i deplasmanda 1-0 yendiği maçta karşılaşmanın tek golünü atmıştır.