Enthüllung der wahren Kosten von HPC

Einführung

Die Fähigkeit, riesige Datenmengen mit hoher Geschwindigkeit zu verarbeiten, hat HPC einen Platz in einer Vielzahl von Branchen verschafft, z.B. im Finanzwesen, im Gesundheitswesen, in der Verteidigung, in der Meteorologie und vielen anderen. Es kann ein wesentliches Werkzeug für eine Vielzahl von Prozessen sein, die sich um Entdeckung und Innovation drehen. Einige Beispiele sind 3D-Simulationen, High-Definition-Film-Rendering, prädiktive Analysen, molekulare Modellierung und manchmal auch nur die Verwaltung einer schier unüberschaubaren Menge von Dateien, die aus schnell und in großen Mengen anfallenden Daten resultieren. Doch die beeindruckende Leistung und die anderen Vorteile bringen in der Regel auch ein schwieriges Thema mit sich – die Budgetierung und Finanzierung.

Nicht nur die für HPC erforderliche Hardware ist ohnehin schon extrem teuer, sondern die Gesamtkosten – die wahren Kosten von HPC – gehen weit über die Anschaffungskosten hinaus. Unser Ziel in diesem Artikel ist es, das Thema HPC-Kosten, einschließlich der oberflächlichen und versteckten Kosten, zu behandeln und gleichzeitig Ratschläge zu geben, wie Sie die Gesamtkosten von HPC senken können.

Die Oberflächenkosten von HPC

Die oberflächlichen Kosten einer HPC-Implementierung sind die Summe der verschiedenen Ausgaben, die für jeden potenziellen Benutzer offensichtlich und offensichtlich sind. Dies sind die Kosten, die bei der Planung der Implementierung einer HPC-Lösung zunächst berücksichtigt werden. Die Oberflächenkosten des High-Performance Computing lassen sich in fünf große Kategorien unterteilen: Software, Hardware, Infrastruktur, Personal und „Sonstiges“.

Software-Lizenzen

Es gibt drei Hauptunterkategorien von Software, die als Teil der HPC-Vorabkosten betrachtet werden. Die erste Kategorie sind die Kosten für die Betriebssysteme – seien es die Linux-Versionen für Unternehmen oder vollständig angepasste Betriebssysteme, die speziell für die Arbeit mit HPCs entwickelt wurden.

Die zweite Kategorie umfasst alles, was ein Unternehmen für die Verwaltung der HPC-Hardware benötigt – Tools für die Ressourcenüberwachung, Lösungen für die Sicherung und Wiederherstellung, Software für das Workload-Management, Lösungen für die Auftragsplanung und so weiter.

Zu guter Letzt sind da noch die Kosten für die kommerzielle Software, die die Ressourcen von HPC nutzen kann, um bestimmte Arbeitslasten auszuführen – Datenanalyse, Modellierung und Simulation sind nur ein kleiner Teil der Möglichkeiten.

Anschaffung von Hardware

Das teuerste Element in der Hardware-Abteilung ist auch das offensichtlichste Element des gesamten Themas „HPC-Kosten“ – die Computing-Hardware, die alle Berechnungen und anderen Aufgaben durchführt. Maßgeschneiderte CPUs, GPUs und Speicherkonfigurationen können in Server- oder Clusterpaketen oder einzeln verkauft werden.

Die Rechenleistung wäre ohne die Speicherkapazitäten, die diese Art von Lese- und Schreibgeschwindigkeit unterstützen, nicht annähernd so effektiv. Daher müssen auch Hochgeschwindigkeits-Speicherlösungen verwendet werden – nicht nur SSDs (schneller, aber weniger Speicherplatz) oder HDDs (deutlich langsamer, aber mit höherer Kapazität), sondern auch hochgradig angepasste Speichersysteme, die in der Lage sind, HPC-Workloads zu bewältigen, wie z.B. parallele Dateisysteme.

Die meisten bestehenden Infrastrukturen und Systeme arbeiten bereits mit irgendeiner Form einer drahtlosen Verbindung. Die betreffende Hardware muss ebenfalls mit der Leistung der HPC-Frameworks mithalten, was teure Ethernet-Switches und Router, die eine hohe Bandbreite verarbeiten können, sowie jede Menge andere Hochgeschwindigkeitshardware für Netzwerkzwecke voraussetzt.

Praktisch jedes kundenorientierte Computersystem erzeugt bei der Durchführung von Berechnungen oder anderen Operationen Wärme. HPCs bilden da keine Ausnahme, und die in dieser Hardware installierten Kühlsysteme sollten in der Lage sein, extrem hohe Temperaturen zu bewältigen, um sicherzustellen, dass die teure Hardware unter hoher Arbeitslast nicht schmilzt. Zwei der bisher beliebtesten Optionen sind Flüssigkühlsysteme und Luftkühlsysteme, und die Wahl zwischen den beiden hängt stark von den spezifischen Umständen der jeweiligen HPC-Instanz ab.

Konfiguration der Infrastruktur

Die Einrichtung der Hardware und die Versorgung mit Strom sind wichtige Bestandteile der HPC-Ersteinrichtung. Zunächst einmal bedeuten Hochleistungsberechnungen, dass ständig eine Menge Strom benötigt wird. Die Investition in zuverlässige und skalierbare Stromversorgungen ist im Zusammenhang mit HPC-Infrastrukturen von größter Bedeutung.

Die schiere Komplexität dieser Hardware bedeutet auch, dass die Einrichtung und anfängliche Anpassung von einem Fachmann vorgenommen werden muss, dessen Dienste ebenfalls Geld kosten. Darüber hinaus machen die Gesamtkosten für die Unterbringung der gesamten Hardware in einer speziellen Einrichtung mit allen erforderlichen Elementen wie Strom und physischer Sicherheit einen erheblichen Teil der Gesamtkosten für HPCs aus.

Kosten für Arbeitskräfte

Ein relativ kleiner Teil der Kosten entfällt auch auf die Ausbildung. Es ist wahrscheinlich nicht nur notwendig, Ihre bestehenden Mitarbeiter im Hinblick auf die Funktionsweise des HPC zu schulen, sondern es müssen vielleicht auch zusätzliche Mitarbeiter eingestellt werden, nur um die Arbeitsbedingungen einer HPC-Einheit aufrechtzuerhalten – seien es HPC-Spezialisten, Systemadministratoren und so weiter.

Die versteckten Kosten von HPC

Wie der Titel schon sagt, handelt es sich bei den versteckten Kosten im Zusammenhang mit HPC um potenzielle Ausgaben, die in der Planungs- und Budgetierungsphase möglicherweise übersehen wurden. Die Kombination aller versteckten Kosten ist oft größer als die Gesamtsumme der oberflächlichen Kosten, weshalb wir uns mit diesem Thema überhaupt beschäftigen.

Die Gesamtzahl der Kostengruppen wird hier sehr viel höher sein, da es schwierig ist, viele dieser Kosten anders als völlig getrennt von den anderen zu positionieren. Nichtsdestotrotz werden wir uns mit sechs primären Kostengruppen befassen: Betriebskosten, Anlagenerweiterungen, Datensicherheit, Ausfallzeiten, Datenmanagement und Compliance.

Betriebliche Kosten

Regelmäßige Wartung sowohl auf der Hardware- als auch auf der Softwareseite ist unerlässlich, damit HPCs mit der bestmöglichen Effizienz laufen. Der Strom wäre hier eine weitere erwähnenswerte Option, die wir aber bereits zuvor erwähnt haben, da sie ziemlich offensichtlich ist. Die Anwendung verschiedener Patches und Upgrades auf die bestehende Software ist ein wichtiger Bestandteil jedes HPC-Systems, um die Leistung zu verbessern, die Sicherheit zu erhöhen und so weiter.

Erweiterungen der Anlage

Die oben erwähnte Upgrade-Politik gilt nicht nur für die Software, sondern sollte auch auf der Hardware-Seite durchgeführt werden. Die Modifizierung bestehender HPC-Hardware, um eine bessere Energieverteilung, eine höhere Leistung oder effizientere Kühlsysteme zu erreichen, gilt auf lange Sicht ebenfalls als versteckte Kosten. Es könnte auch der Zeitpunkt kommen, an dem die aktuellen HPC-Speicher für den aktuellen Stand des Tools nicht mehr ausreichen. In diesem Fall gehört die Erweiterung der Einrichtung oder die Anmietung neuer Räumlichkeiten ebenfalls in diese Kategorie der versteckten Kosten.

Datensicherheit

Robuste Sicherheitsmaßnahmen sind mit Sicherheit eine Notwendigkeit, wenn man bedenkt, dass HPC in sehr speziellen sicherheitsbewussten Bereichen wie Forschung und Entwicklung eingesetzt wird. Die Aufgabe wird noch schwieriger, wenn man die schiere Größe einer durchschnittlichen HPC-Umgebung bedenkt. Ein mehrgleisiger Ansatz mit anpassbaren Datensicherheitsrichtlinien ist in den meisten Situationen ein Muss. Die meisten HPC- und Supercomputing-Anwendungen werden für sehr wertvolle und oft hochsensible Daten und Anwendungen verwendet. Daher ist die Sicherheit für die meisten HPC-Organisationen ein kritischer Faktor.

Ausfallzeiten

Jeder einzelne Fall von Ausfallzeit, ob erwartet oder unerwartet, führt zu Produktivitätsverlusten und potenziellen Einnahmen. Diese Situationen so weit wie möglich zu vermeiden, ist die Priorität jeder modernen Infrastruktur, und HPC ist da keine Ausnahme. Die Feinabstimmung sowohl der Hardware- als auch der Softwareseite des HPC ist ebenfalls ein fortlaufender Prozess, der praktisch endlos ist. Es wird immer etwas geben, was man tun kann, um die Ergebnisse zu verbessern, sei es ein neues Stück Hardware, ein neues Software-Update, usw.

Datenverwaltung

Der Umgang mit großen Datenmengen ist in jedem System eine große Herausforderung. Die Übertragung großer Datenmengen an einen anderen Ort, sei es zur Aufbewahrung oder aus anderen Gründen, ist ein sehr heikler Prozess, der zudem recht teuer ist, da die empfangende Seite der Übertragung über die nötige Kapazität und Leistung verfügen muss, um sie zu bewältigen. Sowohl Cloud-basierte Datenspeicherlösungen als auch entfernte Rechenzentren haben ihre eigenen Unzulänglichkeiten (z.B. erheben einige Cloud-Anbieter sogar Gebühren für die Auslagerung).

Außerdem muss nicht jeder Speicher im HPC auf die gleiche Weise behandelt werden. Es gibt viele Möglichkeiten, verschiedene Formen der Langzeitspeicherung zusammen mit den Archivierungsprozessen zu verwenden, wodurch Speicherplatz gespart, die Leistung verbessert und eine Reihe anderer potenzieller Vorteile erzielt werden können.

Einhaltung von Vorschriften

Es gibt viele verschiedene Vorschriften und Industriestandards, die HPCs in irgendeiner Weise betreffen. Die meisten der bestehenden Vorschriften haben äußerst schwerwiegende Folgen, wenn sie nicht befolgt werden, von Geldstrafen bis hin zu Gerichtsverfahren und schierem Imageschaden. Die Einhaltung von Vorschriften ist von größter Bedeutung, auch wenn es schwierig sein kann, sie in so großen Umgebungen wie den HPCs umzusetzen.

Die meisten dieser Kosten lassen sich nur sehr schwer vorhersagen oder gar mit einem konkreten Beispiel belegen. Es wäre jedoch ratsam zu erwähnen, dass jedes einzelne Element der Preisstruktur sowohl in Bezug auf die Qualität als auch auf den Preis unterschiedlich sein kann. Außerdem ist es nur möglich, die höhere „Qualität“ bestimmter Preiselemente in Verbindung mit mehreren anderen Punkten auf der Liste zu nutzen. Die Entscheidung, in leistungsfähigere Hardware wie CPUs oder GPUs zu investieren, bringt beispielsweise praktisch keine Vorteile, wenn nicht noch mehr in ergänzende Hardware investiert wird – leistungsstarke Netzwerkumgebungen, schnelle Speicherlösungen und so weiter.

Techniken zur Kostenreduzierung für High-Performance Computing-Umgebungen

Das HPC-Management kann eine ziemlich teure und schwierige Aufgabe sein. Obwohl die spezifischen Nuancen jeder Situation von Fall zu Fall unterschiedlich sein können, können wir zehn verschiedene Empfehlungen geben, wie ein Unternehmen die Kostensituation in seiner HPC-Umgebung verbessern kann:

1. Die Workload-Konsolidierung kann genutzt werden, um die Gesamtressourcennutzung der Umgebung zu verbessern, indem gegebenenfalls mehr als eine Anwendung auf derselben Hardware ausgeführt werden kann. Das Ergebnis dieser Änderung ist eine geringere Gesamtzahl an benötigten Servern, niedrigere Betriebskosten für das HPC und eine bessere Ressourcenoptimierung insgesamt.
2. Gelegentliche Neuverhandlungen von Anbieterverträgen können ihren Nutzern erhebliche Vorteile bieten, wenn sie richtig gemacht werden. Da es sehr wahrscheinlich ist, dass eine durchschnittliche HPC-Umgebung Verträge nicht nur mit Software-, sondern auch mit Hardware- und sogar mit Dienstleistungsanbietern hat, bietet eine Neuverhandlung viel Potenzial, um bessere Bedingungen, niedrigere Preise und andere Vorteile zu bieten. Einige der besten Möglichkeiten dazu sind Mehrjahresverträge, Großeinkäufe und sogar die Nutzung des Wettbewerbs, wenn dies möglich ist.
3. Der Gesamtstromverbrauch kann durch bessere Kühlungslösungen und energieeffizientere Hardware und Software gesenkt werden. Es sollte sogar möglich sein, ein fortschrittliches Energiemanagement einzusetzen, um den Stromverbrauch der gesamten HPC-Infrastruktur außerhalb der Spitzenlastzeiten zu senken.
4. Die Erforschung der vorhandenen Open-Source-Alternativen für die HPC-Software kann dazu führen, dass ein Teil der Lizenzkosten gesenkt werden kann. Es ist jedoch zu beachten, dass viele der Open-Source-Lösungen bekanntermaßen schwer zu beherrschen sind, selbst im Vergleich zu kostenpflichtiger Unternehmenssoftware auf hohem Niveau.
5. Containerisierung und Virtualisierung können ebenfalls eingesetzt werden, um die Ressourcennutzung in der HPC-Umgebung zu optimieren. Technologien wie Kubernetes, VMware, Docker und einige andere können eingesetzt werden, um die Anzahl der physischen Server zu reduzieren, die für die Ausführung der gesamten erforderlichen Software erforderlich sind (indem mehrere Softwareinstanzen auf demselben Server ausgeführt werden können), was zu Verbesserungen bei den Hardwarekosten, der Ressourcenzuweisung usw. führt.
6. Schulungsprogramme für Mitarbeiter sind zwar teuer, können aber die HPC-Verwaltungsfähigkeiten des Unternehmens drastisch verbessern und zu einer geringeren Anzahl von Fehlern führen, die durch den Faktor Mensch verursacht werden (was in der Regel viel mehr ist als die Kosten für die Schulungsmaßnahmen für die Mitarbeiter).
7. Cloud Bursting ist ein relativ neuer Ansatz für die Implementierung von Cloud-Speicher in HPC-ähnlichen Umgebungen. Dabei werden Cloud-Ressourcen verwendet, die der Infrastruktur nur zu bekannten Spitzenlastzeiten hinzugefügt werden, was die Gesamtkosten drastisch senkt und das gesamte System sehr viel kosteneffizienter macht.
8. Gestaffelte Speicherlösungen und andere Mittel zur Verbesserung der Effizienz der Datenverwaltung können ebenfalls einen erheblichen Beitrag zur Optimierung der Speicherkosten leisten. Die Idee dahinter ist relativ einfach – die am häufigsten verwendeten Daten werden auf der schnellsten Hardware gespeichert, während die weniger kritischen Informationen auf einem langsameren und günstigeren Speicher abgelegt werden können.
9. Die Zuweisung von HPC-Ressourcen kann durch den Einsatz umfassender Job-Management-Lösungen und Workload-Scheduler (Grid Engine, PBS, SLURM) weiter verbessert werden. Das Endergebnis wird sich in jeder einzelnen Situation erheblich unterscheiden, aber allgemeine Durchsatzverbesserungen und eine Verringerung der Leerlaufzeiten sind für die Mehrheit der HPC-Benutzer praktisch garantiert.
10. Die fortlaufende Optimierung der bestehenden HPC-Umgebungen wird durch regelmäßige Audits ermöglicht. Durch die Identifizierung von Ineffizienzen und anderen glanzlosen Elementen des Systems ist es möglich, die Leistung des Systems kontinuierlich zu verbessern und sogar Ressourcen zu entfernen, die als überflüssig angesehen werden und für das Funktionieren des Systems nicht mehr notwendig sind.

Wie Bacula Enterprise bei der HPC-Kostenreduzierung helfen kann

HPC-Umgebungen sind groß und oft schwierig zu verwalten – und dennoch benötigen sie alle grundlegenden Sicherheitsmaßnahmen, einschließlich so einfacher Dinge wie die Erstellung von Datensicherungen. Glücklicherweise sind Lösungen für Unternehmen wie Bacula Enterprise in der Lage, Datensicherungen für HPC-Umgebungen und viele andere Folgefunktionen anzubieten.

Die robuste und hoch skalierbare Lösung von Bacula bietet beeindruckende Datensicherungsfunktionen, eine flexible Architektur und eine effiziente Nutzung des Speicherplatzes in einem einzigen Paket. Bacula verwendet ein flexibles Lizenzierungsmodell, das nicht an die Speicherkapazität gebunden ist, was für HPC-Umgebungen von großem Vorteil ist (da sie oft enorme Datenmengen verarbeiten).

Bacula eignet sich auch hervorragend für die Notfallwiederherstellung, bindet seine Kunden nicht an eine kurze Liste von unterstützten Anbietern und kann sogar einige der Vorteile einer Open-Source-Lösung bieten (da es zunächst als Erweiterung einer freien und Open-Source-Lösung entwickelt wurde). Bacula wird von vielen der größten Forschungszentren der Welt eingesetzt, darunter die NASA, die National Laboratories in den USA und einige der führenden europäischen Forschungsorganisationen.

Überlegungen zur Nachhaltigkeit und Bacula Enterprise

Nachhaltigkeit wird bei HPC, Supercomputing und großen Rechenzentren immer wichtiger. Auch Bacula Enterprise ist sich des modernen Umweltbewusstseins besonders bewusst und bietet Nachhaltigkeit als zentrales Gesprächsthema in einer Vielzahl seiner Funktionen: Verbesserungen bei der Nutzung der Infrastruktur, Unterstützung für viele Umgebungstypen, fortschrittliche Techniken zur Reduzierung des Speicherbedarfs, wirtschaftliche Verwaltung von Milliarden von Dateien und der allgemeine Fokus auf die Reduzierung des Energieverbrauchs sowohl bei Sicherungs- als auch bei Wiederherstellungsprozessen. Das im Vergleich zu anderen Anbietern von Sicherungen außergewöhnliche Sicherheitsniveau von Bacula ist ebenfalls entscheidend für Nachhaltigkeit und Geschäftskontinuität. Der Open-Source-Hintergrund von Bacula bedeutet, dass der Softwarecode auf eine weitaus nachhaltigere Art und Weise erstellt wurde, und die Hauptniederlassung des Unternehmens befindet sich in der Schweiz, wo die kohlenstoffarme Energieerzeugung weit über der der anderen Heimatländer von Baculas Mitbewerbern liegt.

Auf diese Weise gelingt es der Lösung von Bacula, den CO2-Fußabdruck des Datenschutzes zu verringern, einen wichtigen Beitrag zur Verbreitung nachhaltiger Datenverwaltungspraktiken zu leisten, die Lebensdauer bestehender oder veralteter Hardware zu verlängern, um den Elektroschrott zu minimieren, und so weiter. Bitte kontaktieren Sie Bacula für weitere Informationen und das Whitepaper über die besonders hohen Nachhaltigkeitsstandards des Unternehmens.

Fazit

High-Performance Computing-Umgebungen können Arbeitslasten von enormer Größe bewältigen und sind in vielen Branchen ziemlich wichtig, vor allem wenn es um die Durchführung verschiedener Berechnungen, Schätzungen und datengesteuerter Entscheidungen geht. Gleichzeitig ist die Einrichtung einer einzigen HPC-Umgebung ein gewaltiges Unterfangen, sowohl was den Zeit- als auch den Ressourcenaufwand betrifft.

Überraschenderweise sind sich nicht alle Unternehmen darüber im Klaren, dass die Verwaltung einer HPC-Umgebung weitaus teurer sein kann als der ursprüngliche Kauf und die Einrichtung der Umgebung. Aus diesem Grund haben wir den Artikel in oberflächliche und versteckte Kosten unterteilt und bieten mehrere Kategorien und Unterkategorien an, um das Thema zu erläutern.

Die Erklärung der Kosten war jedoch nicht der einzige Zweck dieses Artikels. Wir haben auch Taktiken und Empfehlungen vorgestellt, die zu allgemeinen Budgetverbesserungen führen können, sei es durch Virtualisierung, Konsolidierung der Arbeitslast, Neuverhandlung von Verträgen und mehr. Der Zweck der Sicherungssoftware von Drittanbietern wurde ebenfalls ausführlich behandelt, wobei Bacula Enterprise als Beispiel dafür diente, wie wichtig eine hoch skalierbare Sicherungs- und Wiederherstellungslösung für eine so komplexe und vielschichtige Umgebung sein kann.

HPC kann in der heutigen Zeit ein sehr wertvolles Werkzeug für viele verschiedene Branchen sein. Das Wissen um den Gesamtpreis einer solchen Umgebung und um die Schlüsselelemente, die dazu beitragen, sollte eine wertvolle Informationsquelle sein, wenn es darum geht, die Gesamtkosten der Implementierung sowohl kurz- als auch langfristig zu bewerten.