Le camp a été nommé d'après le village voisin et est devenu le centre d'un vaste réseau d'au moins 97 sous-camps. Au 1er janvier 1945, le complexe de Gross-Rosen comptait 76 728 prisonniers, dont près de 26 000 femmes, pour la plupart juives, ce qui en fait l'un des plus grands regroupements de prisonnières du système concentrationnaire.
Au départ, les prisonniers étaient principalement employés comme travailleurs forcés dans la construction du camp et dans la carrière de granit voisine appartenant aux SS. L'accent mis sur la production d'armements a conduit à l'expansion de Gross-Rosen, qui est devenu un complexe industriel et le siège administratif de ses sous-camps. La population du camp a connu un afflux important de Juifs à partir de la fin de l'année 1943. Jusqu'à 60 000 prisonniers juifs ont été déportés à Gross-Rosen jusqu'en janvier 1945, principalement de Pologne et de Hongrie, et plus tard d'Europe occidentale et méridionale.
Un sous-camp notable de Gross-Rosen était celui de Bruennlitz, établi dans une usine textile vide grâce aux efforts d'Oskar Schindler. C'est là que 1 100 prisonniers juifs qui avaient travaillé pour Schindler à Cracovie-Plaszow ont pu survivre à la guerre.
À l'approche des forces soviétiques en janvier 1945, les Allemands commencèrent à évacuer le complexe de Gross-Rosen, dissolvant les sous-camps situés à l'est de l'Oder. Les SS évacuent le camp principal et d'autres sous-camps à l'ouest de l'Oder au début du mois de février 1945. Au moins 44 000 prisonniers, dont de nombreux Juifs, sont transférés dans d'autres camps du Reich allemand dans des conditions brutales. De nombreux prisonniers sont morts au cours de ces évacuations en raison du manque de nourriture et d'eau, et les gardes SS ont tué ceux qui étaient trop faibles pour continuer. Le camp principal de Gross-Rosen a été libéré par les forces soviétiques le 13 février 1945.
On estime que sur les 120 000 prisonniers qui sont passés par le système de camps de Gross-Rosen, au moins 40 000 sont morts soit à Gross-Rosen, soit lors de l'évacuation du camp.
Aujourd'hui, le site du mémorial de Gross-Rosen est un lieu de mémoire et d'éducation. Il comprend des vestiges préservés du camp, un musée et des ressources éducatives qui permettent de comprendre l'histoire du camp et son rôle dans l'Holocauste.