Hai bisogno di una macchina in grado di eseguire trilioni di calcoli in virgola mobile in un secondo? O hai bisogno di una bella storia sul tuo supercomputer personale che ha spento le luci nel tuo villaggio? Costruire un supercomputer è una sfida interessante se sei un genio ricco con un po' di tempo libero. Tecnicamente, un supercomputer multiprocessore è una rete di computer che lavorano insieme per risolvere un problema. Questo articolo discuterà brevemente ogni fase della sua creazione, concentrandosi su hardware e software.
Fare un passo
Passaggio 1. Innanzitutto, scopri di quali componenti hardware avrai bisogno
Un nodo principale, almeno una dozzina di nodi di elaborazione identici, uno switch Ethernet, un'unità di distribuzione dell'alimentazione (PDU) e un server rack. Scopri anche le esigenze di elettricità, raffreddamento e spazio. Specificare l'indirizzo IP per la rete privata, i nomi dei nodi, i pacchetti software che si desidera installare e quale tecnologia si desidera utilizzare per farli funzionare tutti insieme per eseguire il calcolo parallelo (maggiori informazioni di seguito).
- Sebbene l'hardware di cui avrai bisogno sia costoso, il software in questa guida è tutto gratuito e la maggior parte è open source.
- Se vuoi vedere quanto sarà veloce il tuo supercomputer (in teoria), usa questo:
Passaggio 2. Creare nodi di calcolo
Puoi assemblare i nodi di calcolo di cui hai bisogno o utilizzare un server già pronto.
- Scegli un framework di server per computer che massimizzi lo spazio, il raffreddamento e l'efficienza energetica.
- Oppure puoi utilizzare circa una dozzina di server obsoleti. Se usati insieme, sono molto più utili di quando usati singolarmente e puoi risparmiare un bel po'. Tutti i processori, le schede di rete e le schede madri devono essere uguali per garantire il corretto funzionamento del sistema. Ovviamente, non dimenticare la RAM e la capacità di archiviazione per ciascun nodo e almeno un'unità ottica per il nodo principale.
Passaggio 3. Montare il server integrato nel rack del server
Inizia dal basso per evitare le obiezioni in alto. Invita un amico ad aiutarti, poiché i set di server congestionati possono diventare così pesanti da rendere difficile riporli nei cassetti.
Passaggio 4. Montare lo switch Ethernet sulla parte superiore del telaio del server
Approfitta di questa opportunità per configurarlo: assegnagli una dimensione del frame di 9000 byte, imposta l'indirizzo IP sull'indirizzo statico specificato nel passaggio 1 e disattiva i protocolli di routing non necessari come SMTP Snooping.
Passaggio 5. Installare l'unità di distribuzione dell'alimentazione
Potrebbero essere necessari 220 volt per il calcolo ad alte prestazioni, a seconda di quanta corrente richiede il nodo al massimo carico.
Passaggio 6. Una volta installato tutto, è possibile avviare il processo di configurazione
Linux è un sistema operativo indispensabile per i cluster di calcolo ad alte prestazioni, perché oltre ad essere l'ideale per il calcolo scientifico, è anche gratuito al 100%. Con nodi che raggiungono centinaia o addirittura migliaia, sarà sicuramente molto costoso se usi Windows!
- Inizia installando l'ultima versione del BIOS e del firmware della scheda madre. La versione installata deve essere la stessa per tutti i nodi. Inizia con l'installazione dell'ultima versione del BIOS e del firmware della scheda madre, che dovrebbe essere la stessa su tutti i nodi.
- Installa la distribuzione Linux che desideri su ciascun nodo, con un'interfaccia grafica sul nodo principale. Le scelte più popolari sono CentOS, OpenSuse, Scientific Linux, RedHat e SLES.
- L'autore consiglia vivamente di utilizzare Rocks Cluster Distribution. Rocks installerà istantaneamente tutti i programmi di cui il tuo supercomputer ha bisogno per funzionare e utilizzerà un modo intelligente per "condividere" se stesso su tutti i nodi esistenti utilizzando l'avvio PXE di Red Hat e la procedura "Kick Start".
Passaggio 7. Installare l'interfaccia di messaggistica, la gestione delle risorse e altre librerie software essenziali
Se non hai installato Rocks nel passaggio precedente, dovrai preparare tu stesso il software necessario per alimentare il meccanismo di calcolo parallelo.
- Innanzitutto, avrai bisogno di un sistema di gestione portatile bash come Torque Resource Manager, che farà la condivisione del lavoro tra le macchine.
- Associa Torque al Maui Cluster Scheduler per completare la configurazione.
- Successivamente, è necessario installare l'interfaccia di messaggistica, necessaria per fare in modo che nodi di calcolo separati condividano gli stessi dati. OpenMP è una scelta definitiva.
- Non dimenticare le librerie ei compilatori matematici multi-threading per creare i programmi di calcolo parallelo di cui hai bisogno. Oppure, installa semplicemente Rocks per renderlo ancora più semplice.
Passaggio 8. Combina tutti i nodi di calcolo in una rete
Il nodo principale invierà attività di calcolo al nodo di calcolo, che dovrà quindi restituire i risultati durante lo scambio di messaggi tra loro. Prima è meglio è.
- Usa una rete ethernet privata per connettere tutti i nodi nel cluster del tuo supercomputer.
- Il nodo primario può essere un server NFS, PXE, DHCP, TFTP e NTP nella rete ethernet.
- È necessario separare questa rete dalla rete pubblica per garantire che i pacchetti inviati non interferiscano con altre reti nella rete locale.
Passaggio 9. Prova il supercomputer che hai creato
Prima di essere utilizzato da altri, ti consigliamo di testare prima le prestazioni del tuo supercomputer. HPL (High Performance Linpack) è un popolare punto di riferimento per misurare la velocità di calcolo dei supercomputer. Dovrai compilare dal sorgente, con tutte le opzioni di ottimizzazione offerte dal compilatore che stai utilizzando per l'architettura che hai scelto.
- Ovviamente, devi compilare dal sorgente con tutte le possibili opzioni di ottimizzazione per la tua piattaforma. Ad esempio, se si utilizza una CPU AMD, compilarla utilizzando Open64 con livello di ottimizzazione -0fast.
- Confronta i risultati dei tuoi test su TOP500.org per confrontare il tuo supercomputer con i 500 supercomputer più veloci al mondo!
Suggerimenti
- Per velocità di rete elevate, dai un'occhiata all'interfaccia di rete InfiniBand. Certo, devi essere pronto a pagare un prezzo premium.
- IPMI può semplificare l'amministrazione di grandi cluster di supercomputer fornendo KVM-over-IP, controllo remoto del ciclo di alimentazione e altre funzionalità.
- Usa Gangli per monitorare il carico di calcolo sui nodi.
