Les Romaniotes constituent une communauté juive de langue grecque installée à Ioannina depuis le XIVe siècle. Au début du XXe siècle, cette communauté comptait 4 000 membres, soit environ 25 % de la population totale de la ville.
Lorsque la Grèce entra dans la Seconde Guerre mondiale en octobre 1940, la ville de Ioannina servait de quartier général et de base logistique à l’armée grecque. Après six mois de combats contre les troupes italiennes et allemandes, la Grèce signa un armistice.
En avril 1941, le pays fut soumis à une triple occupation par l’Allemagne, l’Italie et la Bulgarie. L’Épire fut cédé à la zone italienne. À l’été 1943, l’armée italienne transféra l’administration à l’Allemagne nazie.
À cette époque, deux synagogues étaient en activité à Ioannina. La nouvelle synagogue (Kahal Kadosh Hadash) était située à l’extérieur des remparts du château. Avant le début des déportations massives, elle fut pillée, vandalisée et utilisée comme prison par les nazis.
L’ancienne synagogue (Kahal Kadosh Yashan), située dans le quartier juif à l’intérieur du château, fut sauvée grâce à l’intervention du maire, Dimitrios Vlachleidis, qui convainquit les nazis d’y entreposer les fonds de la bibliothèque Zosimaia d’Ioannina et d’utiliser le bâtiment de la synagogue comme bibliothèque. La communauté a caché les objets sacrés dans la crypte de la synagogue, où ils ont été retrouvés après la guerre.
Le 25 mai 1944, 1 870 Juifs grecs furent déportés vers Auschwitz-Birkenau ; seuls 112 d’entre eux revinrent. À l’intérieur de la synagogue Kahal Kadosh Yashan, des plaques commémoratives portent les noms des personnes assassinées lors de l’Holocauste des Juifs romaniotes d’Ioannina. La synagogue conserve également des fragments des décorations en marbre provenant de la synagogue détruite.
Un mémorial dédié à ceux qui ont péri pendant la Seconde Guerre mondiale a également été érigé au cimetière juif d’Ioannina. En 1994, un mémorial de l’Holocauste des Juifs romaniotes a été inauguré dans le quartier juif.