Die deutschen Streitkräfte marschierten im April 1941 in die griechische Stadt Thessaloniki ein. Die ersten deutschen Soldaten wurden auf dem Friedhof von Zeitenlik begraben, der größten Nekropole des Ersten Weltkriegs. Im Jahr 1942 beschlagnahmte die deutsche Armee ein Grundstück in der Gegend von Pilea und zwang serbische, russische und polnische Kriegsgefangene, einen Soldatenfriedhof nach nordeuropäischem Vorbild anzulegen.
Während der Besatzungszeit wurden dort etwa 1.300 deutsche Offiziere und Soldaten begraben, die meist an Krankheiten oder Unfällen gestorben waren. Nach 1943 wurden dort auch im Kampf gefallene Soldaten beigesetzt.
Zwei Jahre nach dem Krieg wurden die sterblichen Überreste der Gefallenen nach und nach auf den katholischen Friedhof von Thessaloniki und 1953 auf den deutschen Soldatenfriedhof Dionysos in Athen überführt.
Der Soldatenfriedhof von Pilea blieb als militärischer Ehrenfriedhof erhalten. In den späten 1970er Jahren wurden die deutschen Kreuze entfernt und an ihrer Stelle weiße Marmorkreuze ohne Namen aufgestellt. Die Gebeine von 185 griechischen Soldaten wurden in das Gebeinhaus der Kapelle übertragen.
Heute gehört der Militärfriedhof von Pilea der griechischen Armee und öffnet seine Pforten nur einmal im Jahr, jeweils im Februar.