W kwietniu 1941 r. wojska niemieckie zajęły Saloniki. Pierwsi polegli niemieccy żołnierze zostali pochowani na cmentarzu Zeitenlik, największej nekropolii z czasów I wojny światowej. W 1942 r. armia niemiecka zarekwirowała działkę w okolicy Pilei i zmusiła serbskich, rosyjskich i polskich jeńców wojennych do budowy cmentarza wojskowego zgodnie z architekturą północnoeuropejską.
W czasie okupacji pochowano tam około 1300 niemieckich oficerów i żołnierzy, którzy zginęli głównie z powodu chorób lub wypadków. Po 1943 roku chowano tam również żołnierzy poległych w walce.
Dwa lata po wojnie szczątki zmarłych były stopniowo przenoszone na cmentarz katolicki w Salonikach, a do 1953 roku na niemiecki cmentarz wojskowy Dionysos w Atenach.
Cmentarz wojskowy w Pilea nadal funkcjonuje jako pomnik wojskowy. Pod koniec lat 70. XX wieku usunięto niemieckie krzyże i zastąpiono je białymi marmurowymi krzyżami bez nazwisk. Szczątki 185 greckich żołnierzy przeniesiono do ossuarium kaplicy
Obecnie cmentarz wojskowy w Pilea należy do greckiej armii i jest otwarty tylko raz w roku, w lutym.