Der Betrieb der lokalen HPC-Ressourcen und insbesondere des Scientific Compute Cluster (SCC) bei der GWDG wird durch die transparente Integration verschiedener Systeme in ein gemeinsames Betriebskonzept für die Grundversorgung der Max-Planck-Institute und der Universität erreicht. Dies beinhaltet ein einheitliches Software-Management, eine gemeinsame Batch-Management-Umgebung, systemübergreifendes Monitoring und Abrechnung sowie systemübergreifende Dateisysteme. So werden Synergieeffekte erzielt durch die Integration verschiedener Systemgenerationen und Spezialsysteme (z.B. GPU-Cluster). Die Anwender finden auf allen HPC-Systemen eine einheitliche Umgebung vor, während gleichzeitig individuelle Anwendungsumgebungen unterstützt werden. Dies führt jedoch zu einem sehr heterogenen Cluster, der eine gute Kenntnis der Architekturunterschiede und hochgradig abgestimmte Skripte erfordert.

Die ausführliche Dokumentation zum System, die FAQ, sowie eine Zusammenfassung der ersten Schritte finden Sie online. Nutzen Sie unsere Systeme für Ihre Forschung, beachten Sie bitte auch unsere Danksagungsrichtlinien, falls Die das SCC für Ihre Forschung nutzen.

Systemüberblick

7 Racks

4 Racks auf dem Faßberg sind kaltwassergekühlt. Die beiden GPU-Knoten im MDC sind luftgekühlt. Ein CPU-Rack im MDC ist warmwassergekühlt.

410 Compute Knoten

Der SCC-Cluster enthält eine Kombination aus Xeon Platinum 9242, Broadwell Xeon E5-2650 v4, Haswell Xeon E5-4620 v3, Broadwell Xeon E5-2650 v4 und Xeon Gold 6252 CPUs

18.376 CPU Cores

Verteilt auf alle Rechen- und GPU-Knoten.

100 GBit/s & 56 Gbit/s Interconnect

Das Interconnect für das System am Faßberg wird mit 56GBit/s FDR Infiniband und das MDC-System wird mit 100 GBit/s Omni-Path betrieben.

1,4 TiB GPU RAM

Über alle GPU Knoten hinweg sind 1,4 TiB GPU-Speicher verfügbar.

99 TB RAM

Über alle 410 Knoten hinweg sind 88 TB Speicher verfügbar.

5,2 PiB Speicher

Der BeeGFS-Speicher im MDC-System besteht aus 2 PiB HDD und 100 TiB SSD und 130TiB HDD auf dem Faßberg-System. Das StorNext-Home-Dateisystem ist etwa 3 PiB groß.

22+ PiB Bandspeicher

Der Backup-Speicher wird von Quantum Scalar Tape Libraries bereitgestellt. Zur Gewährleistung zuverlässige Backups zu gewährleisten, werden diese an zwei verschiedenen Orten gespeichert

Icons made by Freepik and phatplus

Knotenarchitekturen

Weitere Details der Hardware können in der HPC-Dokumentation für die CPU- GPU-Paritionen des SCC gefunden werden.