GPU Server

Art der Leistung Das Fachgebiet "Data & AI Systems" am Fachbereich Informatik der Technischen Universität Darmstadt beabsichtigt die Beschaffung eines hochleistungsfähigen GPU-Servers, der in eine bestehende verteilte ML-Infrastruktur mit 400G-Netzwerkanbindung integriert werden soll. Ziel ist die Nutzung des Systems für rechenintensive Machine-Learning-Trainingsaufgaben im Bereich "Verteiltes Deep Learning". Umfang der Leistung GPU-Konfiguration · 4x NVIDIA H200 GPUs mit jeweils 141 GB HBM Speicher. · Die GPUs müssen untereinander per NVLink Interconnect verbunden sein, mit einer Gesamtbandbreite von mindestens 900 GB/s. Netzwerk & PCIe-Anbindung · 4xNVIDIA ConnectX-7 Netzwerkkarten, Single-Port, OSFP-Formfaktor,400 Gbit/s Ethernet. · Die PCIe-Konfiguration muss so ausgelegt sein, dass jede Netzwerkkarte über den gleichen PCIe-Switch wie die jeweils zugeordnete GPU angebunden ist. Dies ist er-forderlich, um eine gleichzeitige Nutzung der vollen PCIe-Bandbreite für GPUDirect RDMA sicherzustellen (1:1 Zuordnung: 1 GPU ? 1 NIC am selben Switch).