Nachdem bereits im April 1944 die 2. SS-Baubrigade aufgrund dringlicherer Aufgaben aus Osnabrück abgezogen wurde, stand die Stadt im September 1944 ohne ausreichende Arbeitskräfte für die Trümmerbeseitigung dar. Schnell entstanden hierdurch große strukturelle Probleme. Die schweren Luftangriffe, welche Osnabrück seit Mai 1944 über sich ergehen lassen musste, hatten eine Spur der Verwüstung hinterlassen, die ohne den massenhaften Einsatz von Arbeitskräften mittelfristig nicht beseitigt werden konnte. Die infrastrukturellen Schäden waren zum Teil so schwer, dass sie von dem zur Verfügung stehenden Personal nicht in einem befriedigenden Zeitrahmen beseitigt werden konnten. Insbesondere die Reichsbahn kam mit den Instandsetzungsmaßnahmen der Gleise kaum mehr nach, galt ihnen doch die größte Aufmerksamkeit seitens der alliierten Bomberverbände.
Im Herbst 1944 beantragten Stadt Osnabrück und Deutsche Reichsbahn daher neue Arbeitskräfte um die anstehenden Aufgaben bewältigen zu können. Die SS verlegte daraufhin 500 (504?) Häftlinge aus dem KZ Mittelbau Dora (darunter 180 Häftlinge aus Buchenwald) als sogenanntes "Konzentrationslager auf Schienen" vom Harz über Heringen nach Osnabrück, wo sie als neu gegründete 5. SS-Eisenbahnbaubrigade neben Trümmerbeseitigung, Bunkerbau, Freilegung von Blindgängern und Instandsetzungsarbeiten auch für den Bau einer Umgehungstrasse durch Hasbergen herangezogen wurden. Die Bahnline sollte nach Fertigstellung die Hauptstrecke und die Permer Bahn einspurig verbinden und damit das schwer beschädigte Eisenbahnkreuz am Hauptbahnhof entlasten.
Die KZ-Häftlinge waren während ihres mehrmonatigen Martyriums in Osnabrück in einfachen Güterwaggons auf einem Abstellgleis im Rangierbahnhof Hörne untergebracht und mussten in der Nacht selbst bei Luftangriffen in ihren zugigen Behausungen ausharren, während das Wachpersonal unter anderem in einem Deckungsgraben an der Limberger Straße Zuflucht gesucht haben soll.
Wieviele Menschen den unmenschlichen Arbeits- und Lebensbedingungen in dieser Brigade zum Opfer fielen, ist bis heute nicht vollständig geklärt. Mit dem Beginn der Kampfhandlungen im Raum Osnabrück wurden die Häftlinge schließlich per Bahn nach Bremen evakuiert und später auf das Schiff "Apollo" verbracht, auf dem sie am 5.5.1945 aus ihrem Martyrium befreit wurden.
