Svelare i veri costi dell’HPC

Introduzione

La capacità di elaborare quantità massicce di dati con grande velocità ha fatto guadagnare all’HPC un posto in una serie di settori diversi, come la finanza, la sanità, la difesa, la meteorologia e molti altri. Può essere uno strumento essenziale per una moltitudine di processi che ruotano intorno alla scoperta e all’innovazione. Alcuni esempi sono la simulazione 3D, il rendering di film ad alta definizione, l’analisi predittiva, la modellazione molecolare e, a volte, la semplice gestione di un volume elevato di file, derivante da dati generati rapidamente e in grandi quantità. Tuttavia, le prestazioni impressionanti e gli altri vantaggi sono in genere accompagnati da un argomento impegnativo: il budget e il finanziamento.

Non solo l’hardware necessario per l’HPC è estremamente costoso, ma il costo totale – il vero costo dell’HPC – va ben oltre i costi iniziali. Il nostro obiettivo in questo articolo è quello di approfondire l’argomento dei costi dell’HPC, compresi i costi superficiali e nascosti, fornendo anche consigli su come fare per ridurre il costo totale dell’HPC.

Il costo superficiale dell’HPC

Il costo superficiale dell’implementazione dell’HPC è la somma di varie spese che sono ovvie ed evidenti per qualsiasi utente potenziale. Questi sono i costi che vengono considerati inizialmente quando si pianifica l’implementazione di una soluzione HPC. I costi superficiali del calcolo ad alte prestazioni possono essere separati in cinque categorie principali: software, hardware, infrastruttura, personale e “altro”.

Licenze software

Ci sono tre sottocategorie principali di software che sono considerate parte del costo iniziale dell’HPC. La prima categoria è il pagamento dei sistemi operativi – che si tratti di versioni Linux aziendali o di sistemi operativi completamente personalizzati realizzati appositamente per lavorare con gli HPC.

La seconda categoria comprende tutto ciò di cui un’azienda potrebbe aver bisogno per gestire l’hardware HPC – strumenti di monitoraggio delle risorse, soluzioni di backup e ripristino, software di gestione dei carichi di lavoro, soluzioni di programmazione dei lavori e così via.

Infine, ma non meno importante, il costo del software commerciale che può utilizzare le risorse dell’HPC per eseguire carichi di lavoro specifici: analisi dei dati, modellazione e simulazione sono solo una piccola parte di tutte le possibilità.

Acquisti di hardware

L’elemento più costoso del reparto hardware è anche l’elemento più ovvio dell’intero argomento “costi HPC”: l’hardware di calcolo che esegue tutti i calcoli e altri compiti. CPU, GPU e configurazioni di memoria altamente personalizzate possono essere vendute in pacchetti di server o cluster o separatamente.

Le prestazioni di calcolo non sarebbero altrettanto efficaci senza le capacità di archiviazione che supportano questo tipo di velocità di lettura e scrittura. Per questo motivo, è necessario utilizzare soluzioni di archiviazione ad alta velocità – non solo SSD (più veloci ma con meno spazio di archiviazione) o HDD (significativamente più lenti con una capacità maggiore), ma anche sistemi di archiviazione altamente personalizzati in grado di gestire i carichi di lavoro HPC, come i file system paralleli.

La maggior parte delle infrastrutture e dei sistemi esistenti funziona già utilizzando una qualche forma di connessione wireless. L’hardware in questione deve anche tenere il passo con le prestazioni dei framework HPC, il che implica costosi switch e router Ethernet in grado di gestire una larghezza di banda elevata, e molto altro hardware ad alta velocità per il networking.

Praticamente ogni sistema di calcolo orientato al cliente produce calore durante l’esecuzione di calcoli o altre operazioni. Gli HPC non fanno eccezione a questa regola, e i sistemi di raffreddamento installati in questo hardware devono essere in grado di gestire temperature estremamente elevate, per assicurarsi che il costoso hardware non si sciolga sotto carichi di lavoro pesanti. Due delle opzioni più popolari finora sono i sistemi di raffreddamento a liquido e i sistemi di raffreddamento ad aria, e la scelta tra i due dipende molto dalle circostanze specifiche di ogni istanza HPC.

Configurazione dell’infrastruttura

La configurazione dell’hardware e la fornitura di energia sono entrambe parti importanti della configurazione iniziale dell’HPC. Innanzitutto, i calcoli ad alte prestazioni implicano una grande necessità di energia costante. Investire in alimentatori affidabili e scalabili è fondamentale nel contesto delle infrastrutture HPC.

La complessità di questo hardware significa anche che la configurazione e la personalizzazione iniziale devono essere eseguite da un professionista, i cui servizi hanno un costo. Inoltre, il costo totale dell’immagazzinamento di tutto questo hardware in una struttura dedicata con tutti gli elementi necessari, come l’elettricità e la sicurezza fisica, rappresenta una parte significativa del costo totale iniziale per gli HPC.

Spese per la forza lavoro

Una parte relativamente piccola delle spese riguarda anche la formazione. Non solo è probabilmente necessario formare i dipendenti esistenti in merito al funzionamento dell’HPC, ma forse è necessario assumere altre persone solo per mantenere le condizioni di lavoro di un’unità HPC – che si tratti di specialisti HPC, amministratori di sistema e così via.

I costi nascosti dell’HPC

Come suggerisce il titolo, i costi nascosti nel contesto dell’HPC rappresentano spese potenziali che potrebbero essere state trascurate durante le fasi di pianificazione e budgeting. La combinazione di tutti i costi nascosti è spesso superiore alla somma totale dei costi superficiali, motivo per cui stiamo affrontando questo argomento.

Il numero totale di gruppi di costi in questo caso sarà molto più alto, poiché è difficile posizionare molti di questi costi in modo diverso da quello completamente separato dal resto. Tuttavia, esamineremo sei gruppi di costi principali: spese operative, espansioni di strutture, sicurezza dei dati, tempi di inattività, gestione dei dati e conformità.

Spese operative

La manutenzione regolare, sia sul lato hardware che su quello software, è essenziale affinché gli HPC continuino a funzionare al meglio. L’elettricità sarebbe un’altra opzione degna di nota in questo caso, ma l’abbiamo già menzionata in precedenza in quanto si tratta di una scelta piuttosto ovvia. L’applicazione di varie patch e aggiornamenti al software esistente è una parte importante di qualsiasi sistema HPC per migliorare le prestazioni, aumentare la sicurezza e così via.

Espansioni della struttura

La suddetta politica di aggiornamento non si applica solo al lato software dello strumento, ma deve essere eseguita anche sul lato hardware. La modifica dell’hardware HPC esistente per ottenere una migliore distribuzione dell’energia, prestazioni più elevate o sistemi di raffreddamento più efficienti è considerata un costo nascosto nel lungo periodo. Potrebbe anche arrivare un momento in cui le attuali strutture di archiviazione HPC non saranno sufficienti per lo stato attuale dello strumento. In tal caso, anche l’espansione della struttura o l’affitto di nuovi spazi rientreranno in questa categoria di spese nascoste.

Sicurezza dei dati

Misure di sicurezza robuste sono quasi certamente una necessità, considerando l’uso dell’HPC in campi molto specifici e attenti alla sicurezza, come la ricerca e lo sviluppo. Il compito diventa ancora più difficile se si considerano le dimensioni di un ambiente HPC medio. Un approccio su più fronti, con politiche di sicurezza dei dati personalizzabili, è un must nella maggior parte delle situazioni. La maggior parte delle applicazioni HPC e di supercalcolo sono utilizzate per dati e applicazioni di grande valore e spesso altamente sensibili. Pertanto, la sicurezza è probabilmente un fattore critico per la maggior parte delle organizzazioni HPC.

Tempi di inattività

Ogni singolo caso di fermo macchina, sia esso previsto o inaspettato, comporta perdite sia di produttività che di ricavi potenziali. Evitare il più possibile queste situazioni è la priorità di qualsiasi infrastruttura moderna, e l’HPC non fa eccezione. La messa a punto dei lati hardware e software dell’HPC è anche un processo continuo e praticamente infinito. Ci sarà sempre qualcosa che può essere fatto per migliorare i risultati, che si tratti di un nuovo pezzo di hardware, di un nuovo aggiornamento del software, ecc.

Gestione dei dati

Gestire grandi serie di dati è una sfida significativa per qualsiasi sistema. Il trasferimento di grandi masse di dati in un’altra sede, sia per motivi di conservazione che per qualsiasi altro motivo, è un processo molto delicato e anche piuttosto costoso, perché il lato ricevente del trasferimento deve avere la capacità e le prestazioni per gestirlo. Sia le soluzioni di archiviazione dei dati basate sul cloud che i centri dati remoti hanno i loro difetti (ad esempio, alcuni fornitori di cloud hanno persino dei costi di uscita).

Inoltre, non tutto lo storage nell’HPC deve essere affrontato allo stesso modo. Esiste un ampio potenziale per utilizzare varie forme di archiviazione a lungo termine insieme ai processi di archiviazione, che possono far risparmiare spazio di archiviazione, migliorare le prestazioni e ottenere una serie di altri potenziali vantaggi.

Conformità

Esistono molti regolamenti e standard industriali che influenzano in qualche modo gli HPC. La maggior parte delle normative esistenti implica conseguenze estremamente pesanti per il mancato rispetto delle loro linee guida, dalle multe monetarie alle cause legali e al puro danno alla reputazione. La conformità è fondamentale, anche se può essere difficile da implementare in ambienti così vasti come gli HPC.

La maggior parte di questi costi è molto difficile da prevedere o da offrire come esempio specifico. Tuttavia, sarebbe opportuno ricordare che ogni singolo elemento della struttura dei prezzi può differire sia in termini di qualità che di prezzo. Inoltre, è possibile utilizzare il “grado” più alto di specifici elementi di prezzo solo in combinazione con diversi altri punti dell’elenco. Ad esempio, la scelta di investire in hardware più potente, come CPU o GPU, non offrirebbe praticamente alcun vantaggio se non si investisse di più in hardware supplementare – ambienti di rete ad alte prestazioni, soluzioni di archiviazione veloci e così via.

Tecniche di riduzione dei costi per gli ambienti di calcolo ad alte prestazioni

La gestione dell’HPC può essere un compito piuttosto costoso e impegnativo. Sebbene le sfumature specifiche di ogni situazione possano variare da un caso all’altro, possiamo offrire dieci diverse raccomandazioni in termini di come fare per migliorare la situazione dei costi nel proprio ambiente HPC:

1. Il consolidamento dei carichi di lavoro può essere utilizzato per migliorare l’utilizzo complessivo delle risorse dell’ambiente, consentendo l’esecuzione di più applicazioni sullo stesso hardware, quando possibile. I risultati di questo cambiamento sono un numero inferiore di server necessari, costi operativi inferiori per l’HPC e una migliore ottimizzazione delle risorse in generale.
2. Le rinegoziazioni dei contratti con i fornitori , di tanto in tanto, possono offrire vantaggi sostanziali ai loro utenti, se fatte bene. Poiché è molto probabile che un ambiente HPC medio abbia contratti non solo con software, ma anche con aziende di hardware e persino con fornitori di servizi, la rinegoziazione ha un grande potenziale per offrire condizioni migliori, prezzi più bassi e altri vantaggi. Alcuni dei modi più possibili per farlo sono gli accordi pluriennali, gli acquisti in blocco e persino la leva della concorrenza, quando possibile.
3. Il consumo totale di elettricità può essere ridotto implementando soluzioni di raffreddamento migliori e hardware e software più efficienti dal punto di vista energetico. Dovrebbe anche essere possibile utilizzare una gestione avanzata dell’energia per ridurre il consumo energetico dell’intera infrastruttura HPC al di fuori delle ore di picco del carico di lavoro.
4. La ricerca delle alternative open-source esistenti per il software HPC può portare ad alleggerire alcuni dei costi di licenza. Tuttavia, vale la pena notare che molte delle soluzioni open-source sono famose per essere difficili da padroneggiare, anche rispetto ai software aziendali a pagamento di alto livello.
5. Anche la containerizzazione e la virtualizzazione possono essere implementate per ottimizzare l’uso delle risorse nell’ambiente HPC. Tecnologie come Kubernetes, VMware, Docker e molte altre possono essere utilizzate per ridurre il numero di server fisici necessari per eseguire tutto il software necessario (consentendo l’esecuzione di più istanze software sullo stesso server), offrendo miglioramenti in termini di costi hardware, allocazione delle risorse e così via.
6. I programmi di formazione del personale, pur essendo costosi, possono migliorare drasticamente le capacità di gestione dell’HPC dell’azienda, portando a un minor numero di errori causati dal fattore umano (che di solito è molto superiore al costo degli sforzi di formazione del personale).
7. Il cloud bursting è un approccio relativamente nuovo all’implementazione del cloud storage in ambienti simili all’HPC. Utilizza risorse cloud che vengono aggiunte all’infrastruttura solo durante i periodi di picco di carico di lavoro noti, il che riduce drasticamente il costo totale e rende l’intero sistema molto più efficiente dal punto di vista dei costi.
8. Anche le soluzioni di archiviazione a livelli e altri mezzi per migliorare l’efficienza della gestione dei dati possono rappresentare un fattore di ottimizzazione delle spese di archiviazione piuttosto importante. L’idea alla base è relativamente semplice: i dati più utilizzati vengono conservati nell’hardware più veloce, mentre le informazioni meno critiche possono essere archiviate in uno storage più lento e più economico.
9. L’allocazione delle risorse HPC può essere ulteriormente migliorata adottando soluzioni complete di gestione dei lavori e scheduler dei carichi di lavoro (Grid Engine, PBS, SLURM). Il risultato finale sarà molto diverso in ogni singola situazione, ma i miglioramenti generali del throughput e la riduzione dei tempi morti sono praticamente garantiti alla maggior parte degli utenti HPC.
10. L’ottimizzazione continua degli ambienti HPC esistenti è resa possibile dalla conduzione di audit regolari. Essere in grado di identificare le inefficienze e altri elementi poco brillanti del sistema rende possibile migliorare le prestazioni del sistema su base continua e persino rimuovere le risorse considerate ridondanti e non più necessarie per il funzionamento del sistema.

Come fare per aiutare Bacula Enterprise a ridurre i costi dell’HPC

Gli ambienti HPC sono grandi e spesso difficili da gestire – eppure hanno ancora bisogno di tutte le misure di sicurezza di base, compresa una cosa semplice come la creazione di backup dei dati. Fortunatamente, le soluzioni di livello aziendale come Bacula Enterprise sono in grado di offrire backup dei dati agli ambienti HPC e molte altre funzionalità successive.

La soluzione robusta e altamente scalabile di Bacula può offrire impressionanti capacità di protezione dei dati, un’architettura flessibile e un utilizzo efficiente dello spazio di archiviazione in un unico pacchetto. Utilizza un modello di licenza flessibile che non è legato alla capacità di storage, il che rappresenta un enorme vantaggio per gli ambienti HPC (che spesso gestiscono enormi volumi di dati).

Bacula eccelle anche nel disaster recovery, non vincola i suoi clienti a un breve elenco di fornitori supportati e può persino offrire alcuni dei vantaggi di una natura open-source (dato che è stato creato come estensione di una soluzione gratuita e open-source per cominciare). Bacula è utilizzato da molti dei più grandi centri di ricerca del mondo, tra cui la NASA, i Laboratori Nazionali degli Stati Uniti e alcune delle principali organizzazioni di ricerca europee.

Considerazioni sulla sostenibilità e Bacula Enterprise

La sostenibilità sta rapidamente diventando sempre più importante nell’HPC, nel supercomputing e nei grandi centri dati. Bacula Enterprise è particolarmente attento al panorama moderno dell’ecologia e offre la sostenibilità come punto chiave in un’ampia gamma di caratteristiche: miglioramenti nell’utilizzo dell’infrastruttura, supporto per molti tipi di ambiente, tecniche avanzate di risparmio dello storage per ridurre i requisiti di archiviazione, gestione economica di miliardi di file e l’attenzione generale alla riduzione del consumo energetico per i processi di backup e di ripristino. Gli eccezionali livelli di sicurezza di Bacula, rispetto ad altri fornitori di backup, sono fondamentali anche per la sostenibilità e la continuità aziendale. Il suo background open-source significa che il suo codice software è stato creato in modo molto più sostenibile, e i suoi uffici principali hanno sede in Svizzera, dove la produzione di energia a basse emissioni di carbonio è di gran lunga superiore a quella degli altri Paesi di origine dei colleghi di Bacula.

In questo modo, la soluzione di Bacula riesce a ridurre l’impronta di carbonio delle operazioni di protezione dei dati, contribuendo in modo significativo alla diffusione di pratiche di gestione dei dati sostenibili, prolungando la vita dell’hardware esistente o legacy per ridurre al minimo i rifiuti elettronici, e così via. Si rivolga a Bacula per maggiori informazioni e per il suo white paper sui suoi livelli di sostenibilità particolarmente elevati.

Conclusione

Gli ambienti di High-Performance Computing possono gestire carichi di lavoro di dimensioni enormi e sono piuttosto importanti in molti settori, soprattutto quando si tratta di eseguire vari calcoli, stime e decisioni basate sui dati. Allo stesso tempo, la creazione di un singolo ambiente HPC è un’impresa enorme sia in termini di tempo che di risorse.

Sorprendentemente, non tutte le organizzazioni riconoscono che la gestione di un ambiente HPC può rivelarsi molto più costosa dell’acquisto e della configurazione iniziale. Ecco perché abbiamo separato l’articolo in costi superficiali e costi nascosti , offrendo molteplici categorie e sottocategorie come mezzo per spiegare l’argomento.

La spiegazione dei costi non era però l’unico scopo di questo articolo. Abbiamo anche condiviso tattiche e raccomandazioni che potrebbero portare a miglioramenti generali del budget, che si tratti di virtualizzazione, consolidamento del carico di lavoro, rinegoziazione dei contratti e altro ancora. Anche lo scopo del software di backup di terze parti è stato trattato in dettaglio, con Bacula Enterprise utilizzato come esempio di quanto una soluzione di backup e ripristino altamente scalabile possa essere fondamentale per un ambiente così complesso e sfaccettato.

L’HPC può essere uno strumento molto prezioso per molti settori diversi al giorno d’oggi. Conoscere il prezzo totale di un ambiente di questo tipo e quali elementi chiave vi contribuiscono dovrebbe essere una fonte preziosa di informazioni per valutare il costo totale dell’implementazione, sia a breve che a lungo termine.