Hardware-Konfiguration

Das Linux-Cluster ist im Rechnerraum des HRZ in fünf Schränke eingebaut. Es besteht aus den folgenden Komponenten:

2 Frontend Nodes (je 2xDualCore Opteron 270 2.0 GHz, 8 GByte Hauptspeicher und zwei 73.5 GB SCSI Festplatten) für den interaktiven Zugang und den File Service
12 Compute Nodes mit 16 GByte Hauptspeicher (je 2xDualCore Opteron 270 2.0GHz, 250 GByte SATA Festplatte)
73 Compute Nodes mit 8 GByte Hauptspeicher (je 2xDualCore Opteron 270 2.0GHz, 250 GByte SATA Festplatte)
57 Compute Nodes mit 16 GByte Hauptspeicher (je 2xDualCore Opteron 2216 HE 2.4GHz, 250 GByte SATA Festplatte)
easyRAID Q16+ SCSI-to-SATA Storage Subsystem (Kapazität 4 TByte brutto)
6 GigaBit-Ethernet-Switches Cisco Catalyst 3750G-48TS à 48 Ports
3 Konsolen-Switches Digi-CM 48 zum adminstrativen Zugang auf die seriellen Konsolen
11 MEGWARE-Power-Switches zum kontrollierten Einschalten der Stromversorgung
InfiniBand Switch mit 24 Ports

: Aufstellskizze: Linux-Cluster

: Vorderansicht (schräg links)

: Vorderansicht (schräg rechts)

Das Foto zeigt den entsprechenden Aufbau. Die 2.0 GHz Compute Nodes mit 16 GByte Hauptspeicher befinden sich über den Frontend Nodes.

: Rückansicht Linux-Cluster (einer der Schränke)

Auf dem obigen Foto von der Rückseite einiger Compute Nodes ist rechts die Zuführung der GigaBit-Ethernet-Kabel zu sehen. Der graue Kabelbaum auf der linken Seite umfasst die serielle Konsolen-Verkabelung. Über dieses serielle Netzwerk kann zu Wartungszwecken auf die Compute Nodes zugegriffen werden. Die Stromzuführungen zu den einzelnen Compute Nodes (schwarze Kabel auf der linken Seite) sind einzeln schaltbar.

: Gigabit-Ethernet Switches für die interne Vernetzung

Über die GigaBit-Verkabelung des Clusters sind zwei separate Netzwerke realisiert. Die Kabel mit dem gelben Stecker (IP Subnetz 172.26.6.0/24) und die Kabel mit dem blauen Stecker (IP Subnetz 172.26.7.0/24) laufen jeweils an einem Paar "gestackter" GigaBit-Ethernet-Switches zusammen. Durch die doppelte Vernetzung werden die Kommunikation paralleler Programme und der Fileservice separiert.

Auf dem obigen Bild sind rechts oben auch die beiden "Uplinks" zu erkennen, über die das Cluster mit der Außenwelt kommuniziert.

Die niedrige Bauhöhe der Compute Nodes (eine Höheneinheit, entsprechend 2 Inch) und die hohe Packungsdichte von 4 CPU Cores pro Node erfordern kleine aber schnelle Lüfter, um eine zuverlässige Kühlung zu gewährleisten. Entsprechend durchdringend ist das Betriebsgeräusch des Clusters (für eine realitätsnahe Wiedergabe empfiehlt es sich, den Lautstärkeregler ganz nach rechts zu drehen).