Gümülcine Kalesi şehrin en büyük ve en eski anıtıdır. Başlangıçta, ana yolların kesişim noktasında, özellikle de en önemlisi Via Egnatia üzerinde gezginlerin güvenli bir gece konaklaması için inşa edilmiştir. Yapılış zamanına ilişkin görüşler farklılık göstermektedir. Başlangıçta, kalenin MS 4. yüzyıl civarında imparator I. Theodosius (MS 379 - 395) tarafından inşa edildiği düşünülmekteydi. Bu görüş, Selanik Aristoteles Üniversitesi'nde Tarih ve Folklor profesörü olan Gümülcine doğumlu Stilpon Kyriakidis tarafından desteklenmiş ve genç bir adamın bir zamanlar şimdi kayıp olan "Theodosios tarafından inşa edilmiştir" yazısını okuduğunu iddia etmiştir. Ancak daha sonraki arkeologlar ve mimarlar kalenin inşasını 10. veya 11. yüzyıla tarihlemektedir. Aslında, kaleye ilişkin tarihi kaynaklar ancak 14. yüzyılın ortalarından itibaren ortaya çıkmaya başlar. O dönemde bu yerleşim yeri Koumoutzina olarak adlandırılmaktaydı. Kalenin şekli yaklaşık olarak kare olup her bir kenarı yaklaşık 120 m uzunluğundadır. Duvarın inşası ağırlıklı olarak nehir taşları ve sağlam tuğlalarla yapılmıştır. Köşelerde 12 dikdörtgen kule ve 4 dairesel kule olmak üzere toplam 16 kule bulunuyordu. Kalenin yüksekliği 9,60 metreye ulaşmaktaydı. Kalenin kuzey ve doğu taraflarında iki ana girişi ve güneyde bir gizli kapısı bulunmaktaydı. Yüzyıllar boyunca ve özellikle de 1206'da yakındaki Mosynopolis'in yıkılmasının ardından, sağladığı koruma sayesinde yerel halk için bir sığınak haline gelmiştir. Surlar, Gümülcine'nin Osmanlıların eline geçtiği 1364-1365 yıllarına kadar sağlam kalmıştır. Osmanlılar istilaları sırasında kalenin bazı bölümlerini yıkmış ve taşlarını cami ve diğer kamu binalarının inşasında yeniden kullanmışlardır. Bu yıkım 1913-1919 yılları arasındaki Bulgar işgali döneminde de devam etmiş, bu sırada birkaç kule ve kalan duvarın büyük bir kısmı yıkılmıştır. Son darbe 1951 yılında, Yunan yönetimi tarafından Sofouli Caddesi'nin açılması amacıyla yapının bir kısmının maalesef yıkılmasıyla gelmiştir. Günümüzde, anıtı korumak ve öne çıkarmak için kapsamlı koruma, restorasyon ve tanıtım çalışmaları devam etmektedir. Kalenin içinde 1830 yılında inşa edilen Meryem Ana'nın Göğe Yükselişi Kutsal Metropolitlik Kilisesi bulunmaktadır.