Les 15 premiers fournisseurs et entreprises de calcul intensif

Qu’est-ce que le calcul haute performance ?

HPC est High-Performance Computing – un processus de résolution de problèmes de calcul extrêmement complexes à l’aide de grappes d’ordinateurs et de superordinateurs. Le calcul à haute performance utilise des éléments tels que les algorithmes, les architectures informatiques, les langages de programmation, l’électronique numérique et les logiciels système pour créer une infrastructure complexe capable de résoudre des tâches incroyablement sophistiquées à l’aide du traitement parallèle des données.

Il s’agit d’une technologie qui existe depuis des décennies et qui a connu un regain de popularité relativement récent en raison de l’augmentation soudaine du nombre de développements et de cas d’utilisation liés à l’IA. Les infrastructures HPC sont régulièrement chargées de stocker, d’analyser et de transformer les grandes masses de données que les entreprises et les gouvernements génèrent régulièrement.

Les systèmes HPC s’efforcent d’être de plus en plus rapides au fil du temps, en effectuant des calculs de plus en plus complexes, mais les défis liés à l’optimisation de diverses applications et conceptions peuvent parfois constituer un puissant vent contraire à ces progrès. La gestion des données étant essentielle à l’efficacité des calculs HPC, les fournisseurs de logiciels et de matériel tentent de résoudre ce problème de différentes manières.

Néanmoins, le marché du calcul intensif continue de croître à un rythme impressionnant. Straits Research prévoit que le marché du calcul intensif passera de 49,99 milliards de dollars (2023) à 91,86 milliards de dollars (2030), avec un taux de croissance annuel moyen de 9,1 %.

Le fait que la production quotidienne de données continue d’augmenter dans le monde entier accroît encore la pression sur les environnements HPC, ce qui les incite à rechercher des options meilleures et plus rapides. L’essor des déploiements HPC en nuage s’avère être une option supplémentaire et efficace pour atténuer ces problèmes, offrant potentiellement à certains utilisateurs une alternative plus efficace et moins chère aux infrastructures HPC sur site.

Dans ce contexte, il est important d’apprendre comment fonctionne le calcul intensif et quelles sont les difficultés auxquelles il est confronté aujourd’hui (et dans un avenir proche).

HPC vs Supercalculateurs

Il y a beaucoup de chevauchement et de confusion entre le calcul à haute performance et les superordinateurs. Chaque solution a plusieurs définitions, et il existe également quelques similitudes entre les deux. La plus grande différence entre le calcul de haute performance et les superordinateurs réside dans le fait qu’un superordinateur est un système unique qui peut être plusieurs fois plus puissant que n’importe quel ordinateur de niveau client. Le calcul intensif, quant à lui, tend à être une combinaison de plusieurs systèmes et ressources utilisés en parallèle.

Il est facile de voir comment les superordinateurs et le calcul intensif sont à la fois si semblables et si différents. Il y a aussi le fait que les superordinateurs sont généralement beaucoup plus chers et qu’ils sont conçus sur mesure pour une tâche spécifique, alors que le CHP est un système beaucoup plus polyvalent qui peut être configuré pour effectuer différentes tâches, si nécessaire.

Il arrive que certaines variantes de logiciels plus anciens ne soient pas en mesure de profiter de tous les avantages du calcul à haute performance en raison de leur incapacité à utiliser efficacement les fonctions de calcul parallèle. Dans ce type de cas d’utilisation, les supercalculateurs peuvent présenter un avantage significatif et sont souvent la seule option.

Industries clés qui bénéficient le plus du calcul haute performance

De nombreux secteurs utilisent activement le calcul intensif dans leur travail, que ce soit pour l’ingénierie, la conception, la modélisation, etc. Voici quelques-uns des plus grands groupes de cas d’utilisation pour les solutions HPC :

• Pétrole et gaz. Les solutions HPC sont utilisées pour analyser de nouveaux emplacements de puits potentiels et améliorer la productivité des foreuses existantes.
• Fintech. Le calcul intensif est capable d’effectuer de nombreuses formes de modélisation financière et de suivre les tendances boursières en temps réel.
• Défense. Le calcul haute performance améliore considérablement la capacité des entités gouvernementales à gérer des pools de données massifs pour effectuer diverses actions et opérations liées à la sécurité.
• Divertissement. Le calcul haute performance a de nombreux cas d’utilisation différents, notamment le rendu d’effets spéciaux pour les vidéos et les films, la création d’animations, d’environnements 3D, le transcodage, etc.
• Santé. Le calcul haute performance joue un rôle essentiel dans le développement de médicaments et les processus de recherche curative dans l’industrie.
• Recherche. Les projets scientifiques sont le pain et le beurre des capacités de calcul à haute performance, car ils offrent un moyen rapide et pratique de gérer des volumes de données massifs dans un but spécifique.

Une brève histoire du calcul à haute performance

Le chevauchement permanent entre le calcul de haute performance et les superordinateurs est la principale raison pour laquelle une grande partie de l’histoire des superordinateurs est souvent considérée comme l’histoire du calcul de haute performance. L’ensemble de la catégorie de matériel remonte aux années 1940 et a connu plusieurs itérations avant de gagner en popularité après les années 1950 (IBM 7090, CDC 6600).

Le concept de calcul parallèle a été introduit peu après (après les années 1980), comme l’une des premières mentions de ce concept dans l’histoire, avec le développement de grappes d’ordinateurs qui pouvaient effectuer des tâches complexes dans un environnement interconnecté unique.

Dans le même temps, la popularité des ordinateurs personnels n’a cessé de croître, ce qui a suscité un intérêt croissant pour le secteur dans son ensemble. Les clusters HPC ont continué à croître et à se développer en tant que concept au fil des ans, l’idée de l’informatique en nuage (cloud computing) étant l’une des tendances les plus récentes que proposent aujourd’hui les meilleures entreprises HPC du marché. Le HPC est un concept extrêmement efficace en l’état, et comme l’avenir dépend de plus en plus de technologies telles que l’informatique quantique et l’intelligence artificielle, ce concept ne pourra que continuer à se développer et à prospérer au fil du temps.

Principaux concurrents dans le domaine du calcul intensif

Le marché des solutions de calcul intensif est étonnamment vaste, compte tenu de la complexité et de la consommation de ressources de ces solutions. Et pourtant, la demande globale pour ce type d’offres semble augmenter régulièrement dans de nombreux secteurs, ce qui explique pourquoi la plupart des entreprises de calcul intensif continuent à se développer pour devenir de très grandes entreprises. La liste ci-dessous passe en revue 15 exemples différents d’entreprises qui offrent des capacités HPC d’une manière ou d’une autre.

Il convient de noter que le terme « solution HPC » est relativement large et peut couvrir plusieurs groupes d’entreprises différents. Certaines de ces entreprises proposent le calcul haute performance en tant que service en nuage, d’autres assurent le déploiement du calcul haute performance sur site, et il existe également plusieurs options qui sont bien connues pour leur contribution à l’industrie en ce qui concerne uniquement les capacités matérielles.

Microsoft Corporation

Microsoft est un géant technologique bien connu, et son service de cloud Azure est sans aucun doute l’un des plus grands concurrents dans son domaine. Deux éléments différents contribuent spécifiquement aux déploiements HPC : Azure CycleCloud et Azure Batch.

Le premier est une solution complexe qui offre une gestion de la charge de travail HPC avec de nombreuses fonctionnalités précieuses. Le second est une solution de mise à l’échelle et de planification qui peut calculer et mettre à l’échelle les ressources nécessaires en fonction de la quantité de travail à effectuer dans un environnement HPC. Il n’est pas rare que Microsoft collabore également avec divers fournisseurs de matériel afin de créer du matériel sur mesure pour son infrastructure Azure afin de pouvoir gérer les flux de travail HPC.

La combinaison du matériel et des logiciels sous l’œil vigilant de Microsoft crée ce que l’on appelle Microsoft Azure HPC – une infrastructure complète conçue à cet effet qui héberge des solutions prêtes pour le calcul de haute performance avec de nombreux avantages par rapport aux versions traditionnelles de calcul de haute performance sur site.

Il s’agit d’une solution rapide, évolutive et rentable qui réduit considérablement le coût initial du déploiement HPC, prend en charge plusieurs types de charges de travail HPC et peut être personnalisée pour avoir juste assez de capacités pour les objectifs et les cas d’utilisation spécifiques d’un client. Il peut également être intégré à d’autres produits Azure, tels que Azure Machine Learning, créant ainsi de multiples nouvelles opportunités dans le domaine du HPC.

Intel

Une autre entreprise technologique célèbre est Intel Corporation, l’une des plus grandes entreprises de fabrication de processeurs de la planète. Les processeurs Intel Xeon sont spécialement conçus pour les environnements HPC et similaires, quel que soit le secteur dans lequel ils sont utilisés. Intel fournit également de nombreux outils et documents pour simplifier le processus de programmation des systèmes basés sur les Xeon.

Voici quelques-uns des avantages les plus significatifs des processeurs Intel Xeon dans le contexte du HPC :

• Évolutivité.
• Performance des cœurs.
• Performance en mémoire.
• Capacités de simulation.
• ISA.

Les processeurs Xeon sont connus pour leur structure multicœur, qui est conçue pour répartir la charge entre des dizaines de cœurs de processeur simultanément. Il s’agit d’un cas d’utilisation parfait pour les charges de travail HPC, qui permet aux chercheurs et autres experts HPC d’accélérer le temps nécessaire à l’exécution d’un processus de calcul moyen.

Les calculs eux-mêmes dans les processeurs Xeon sont beaucoup plus rapides en raison à la fois du plus grand nombre de cœurs et de la vitesse d’horloge plus élevée de chaque cœur, offrant une performance nettement plus élevée dans l’ensemble, en particulier lorsqu’il s’agit de calculs complexes que le HPC traite habituellement.

Étant donné que le calcul intensif travaille souvent avec des ensembles de données incroyablement volumineux, des performances de mémoire élevées sont pratiquement indispensables. Heureusement, les processeurs Xeon sont équipés de contrôleurs de mémoire plus rapides et de canaux de mémoire plus larges afin de garantir que le potentiel du matériel de mémoire est pleinement exploité et qu’il n’y a pas de goulots d’étranglement du côté de l’unité centrale.

La performance n’est pas tout ce que le HPC attend du matériel dans son ensemble – la stabilité pour des périodes prolongées de calculs intensifs est tout aussi importante. L’industrie parle de RAS (fiabilité, disponibilité et facilité d’entretien). Il s’agit d’une combinaison de fonctions telles que les diagnostics avancés, la correction d’erreurs et bien d’autres qui garantissent un temps d’arrêt minimal et une intégrité totale des données.

ISA signifie Instruction Set Architecture, il s’agit d’un ensemble d’instructions détaillées pour les calculs mathématiques et scientifiques. L’objectif principal de l’ISA est de maximiser la commodité et d’améliorer les performances des charges de travail HPC lors de l’utilisation des processeurs Intel Xeon.

Le reste des capacités d’Intel dans le domaine du calcul intensif tourne toujours autour des processeurs Xeon, d’une manière ou d’une autre. Par exemple, le oneAPI HPC Toolkit d’Intel est une combinaison de divers outils de développement qui facilitent l’amélioration des performances et l’optimisation des opérations de programmation qui s’exécutent sur des processeurs Xeon. Il existe également le paquet HPC Software and Tools qui fournit plusieurs solutions pour l’optimisation du système, l’analyse des performances et la gestion de la charge de travail pour les solutions HPC qui s’exécutent sur des processeurs Xeon.

Amazon Web Services

Amazon Web Services est une filiale d’Amazon, l’une des plus grandes entreprises au monde. La principale spécialité d’AWS est l’informatique en nuage dans différents secteurs et pour différents publics cibles, y compris les clients réguliers, les entreprises et même les agences gouvernementales. Elle peut également fournir des capacités HPC basées sur le cloud aux institutions financières, aux organismes de recherche, aux entreprises d’ingénierie et aux sociétés scientifiques axées sur la santé.

AWS s’efforce de suivre les tendances modernes dans le domaine technologique, ses tentatives d’intégrer la puissance de l’IA et de la ML dans ses services en étant l’exemple le plus récent. Ainsi, Amazon SageMaker peut désormais améliorer ses capacités d’analyse de données grâce à l’introduction de l’apprentissage automatique dans ce flux de travail.

Cela ne veut pas dire que l’offre cloud actuelle d’Amazon n’est pas étonnante en soi. Elle offre de nombreuses possibilités de personnalisation en termes de ressources nécessaires pour chaque client, combinant évolutivité et prix abordable dans un seul et même package. AWS dans son ensemble est relativement facile à gérer et son infrastructure mondiale permet de déployer des infrastructures HPC en nuage dans de nombreuses régions du monde sans trop de problèmes.

Étant donné qu’AWS est une plateforme massive avec des dizaines de ressources et de fonctionnalités différentes, il n’est que judicieux de mentionner lesquelles de ces ressources sont directement liées aux capacités HPC d’Amazon :

• Amazon FSx est un système de fichiers haute performance utilisé pour gérer les ensembles de données HPC qui ont tendance à être extrêmement volumineux.
• AWS Batch est un outil dédié à la mise à l’échelle et à la planification des tâches pour les charges de travail HPC en particulier.
• Amazon EC2 est une collection d’infrastructures virtuelles à la demande, y compris des GPU puissants, des CPU rapides et d’autres matériels/logiciels explicitement conçus pour les charges de travail HPC.
• AWS ParallelCluster facilite le déploiement et le contrôle des clusters HPC, avec la possibilité d’augmenter ou de réduire le nombre de clusters si nécessaire.
• EFA (Elastic Fabric Adapter) est une infrastructure de réseau à faible latence qui offre la vitesse de communication la plus élevée possible entre les grappes dans l’infrastructure HPC.

DataDirect Networks

Même si DataDirect Networks n’est pas aussi connue que certains autres concurrents de cette liste, elle est considérée comme la plus importante société privée de stockage de données. Elle figure parmi les noms les plus connus sur le marché HPC, offrant des infrastructures de haute performance à des fins spécifiques.

Les capacités de DataDirect comprennent des améliorations dans des domaines tels que la collaboration(avec l’aide de la gestion des données multi-cloud), l’optimisation(avec de meilleures performances de stockage) etla réduction des coûts(grâce à des solutions HPC évolutives et efficaces).

Parmi les réalisations et les avantages les plus significatifs de DataDirect Networks, citons :

• Les systèmes de fichiers parallèles permettent aux nœuds HPC d’accéder simultanément aux mêmes données, améliorant ainsi les performances sur toute la ligne.
• Lesplus de 20 ans d’expérience de DDN lui confèrent une expérience et une connaissance de l’industrie sans précédent, ce qui lui permet de fournir certains des meilleurs environnements HPC du marché.
• L’évolutivité, la sécurité et la stabilité sont tout aussi cruciales pour DDN. Elles garantissent la protection des données de recherche sensibles tout en assurant l’évolutivité et la stabilité de l’environnement.
• Les performances des excentriques sont du domaine du possible pour les solutions HPC de DataDirect Networks, ce qui améliore considérablement les performances de la recherche et d’autres tâches orientées HPC.

Le calcul exascale est un type de système de superordinateur capable d’effectuer des opérations de calcul à des niveaux exascales, ce qui représente un niveau de performance informatique entièrement nouveau qui nécessite un système de stockage spécifiquement modifié pour être capable de travailler avec une telle performance à son maximum.

Penguin Computing

Penguin Computing est un autre fournisseur HPC privé qui a été créé en 1998. Penguin Computing propose une large gamme de produits et de services, qu’il s’agisse de serveurs Linux, de logiciels de gestion de clusters, de solutions d’informatique en nuage, de solutions d’IA, etc.

Penguin Computing propose à ses clients des solutions HPC rationalisées, très performantes et peu complexes à gérer. Ces solutions peuvent être facilement mises à l’échelle, en combinant le matériel et les logiciels de multiples façons afin de répondre aux exigences de chaque public cible.

La contribution de Penguin Computing à l’industrie du calcul intensif est considérable. Elle propose des infrastructures HPC basées sur le cloud avec le support d’un cadre d’IA, ce qui permet de combiner les deux si c’est possible comme moyen d’améliorer les charges de travail HPC. Le logiciel de Penguin Computing facilite également la gestion d’environnements HPC complexes, quelle que soit leur taille ou leur sophistication.

L’offre de l’entreprise couvre également les environnements HPC physiques et même les serveurs optimisés pour Linux dans le même but. Une combinaison de mémoire rapide, de processeurs haute performance et de matériel GPU efficace est incluse dans chaque package. Penguin Computing soutient également TrueHPC – une initiative combinée d’AMD et de NVIDIA, qui encourage la collaboration et l’innovation au sein du marché avec les meilleures pratiques et les normes ouvertes.

Dell Technologies

Dell est un autre nom familier dans l’environnement technologique global. En tant que marque, Dell est détenue par Dell Technologies, sa société mère, créée en 2016 à la suite de la fusion entre Dell et EMC. Dell Technologies propose de nombreux services et solutions, y compris des options matérielles et logicielles pour différentes clientèles.

Cela inclut également des capacités HPC, telles que la mise en œuvre de la production, l’évaluation, les tests, la création de pièces de preuve de concept, etc. L’offre de Dell dans l’environnement HPC n’est pas très différente de celle d’autres entreprises qui fournissent à la demande une infrastructure HPC basée sur le cloud. Il s’agit d’une alternative rapide et relativement bon marché aux déploiements HPC sur site, qui peut également être facilement mise à l’échelle dans les deux sens et nécessite beaucoup moins de maintenance. Dell est également fier de ses délais de déploiement HPC, offrant des déploiements HPC extrêmement rapides pour les clients ayant des contraintes de temps.

L’expertise de Dell en tant qu’entreprise technologique s’appuie sur des décennies de travail dans le secteur. Elle offre une compréhension approfondie du fonctionnement du HPC et de ce dont il a besoin pour fonctionner correctement. Les solutions HPC de Dell basées sur le cloud sont distribuées à l’aide de milliers de serveurs Dell EMC et de trois puissants superordinateurs connectés dans une infrastructure unique à l’aide de systèmes de gestion du stockage sophistiqués.

Dell peut fournir de nombreux matériels dans le cadre de son infrastructure HPC, qu’il s’agisse de matériel réseau, de matériel de stockage ou de matériel serveur. Tous ces composants sont adaptés dès le départ aux charges de travail HPC. Par ailleurs, les capacités de Dell ne s’arrêtent pas à la fourniture de matériel sous différentes formes – il existe également des services tels que :

• Développement de la preuve de concept
• Soutien continu
• Mise en œuvre du produit
• Évaluation initiale

IBM

IBM est une entreprise technologique américaine qui existe depuis plus de 100 ans. Sa branche IBM Spectrum Computing a été créée pour fournir des services HPC à ses clients de différentes manières. IBM peut proposer des offres distinctes, notamment :

• High-Performance Services for Analysis, qui convient parfaitement aux secteurs de la finance ou des sciences de la vie – ou à tout autre domaine d’activité nécessitant régulièrement des calculs de charges de travail à forte intensité de données.
• Spectrum HPC, un ensemble complet d’outils pour optimiser et gérer les environnements HPC existants ou en créer de nouveaux.
• High-Performance Services for HPC, une solution pour l’ensemble du cycle de vie de l’infrastructure HPC, commençant par la planification et le déploiement et se terminant par un support continu jusqu’à l’arrêt.

La société est bien connue pour ses investissements dans les technologies informatiques au fil des ans – ATM, DRAM, disquettes et disques durs ne sont que quelques exemples des créations d’IBM. La longue liste d’inventions pouvant être attribuées directement à IBM témoigne de ses capacités en matière d’innovation et de développement technologique.

IBM prend également en charge les déploiements HPC hybrides avec facilité, en offrant la possibilité de connecter ses capacités HPC basées sur le cloud avec le matériel sur site que le client peut déjà avoir. Les capacités HPC d’IBM sont rapides et personnalisables, tirant parti de décennies d’expérience dans le domaine pour créer un niveau de service impressionnant dans l’industrie.

Alphabet

Alphabet est un gigantesque conglomérat technologique basé en Californie ; il est souvent considéré comme l’une des entreprises les plus précieuses de la planète. Alphabet a été créé en 2015 à la suite d’une restructuration d’une société bien connue appelée Google, et reste à ce jour la société mère de Google.

Il est possible de répartir les capacités de Google en matière de calcul haute performance en six catégories :

1. Google Cloud peut fournir une infrastructure sur mesure pour des cas d’utilisation très spécifiques et étroits, offrant une combinaison incroyable de puissance de calcul et de stockage. Cette combinaison est renforcée par la puissance de calcul du nuage, les solutions de stockage des données et l’infrastructure de réseau à haute performance, qui sont nécessaires pour maintenir toute cette infrastructure. Les solutions HPC en nuage de Google constituent probablement leur principal engagement direct dans l’espace HPC.
2. Google participe aussi fréquemment à divers organismes de recherche et établissements d’enseignement pour développer de nouvelles technologies sur le marché du calcul haute performance et améliorer celles qui existent déjà. Cela permet à différentes entreprises du marché d’atteindre de nouveaux marchés qui ont également besoin de la puissance du HPC, notamment la science du climat, la biotechnologie, l’informatique quantique, etc.
3. Le statut global de Google en tant que l’une des plus grandes entreprises technologiques au monde en fait un excellent choix pour les services HPC en raison de ses capacités de mise en réseau rapide, de ses niveaux élevés d’efficacité, de sa disponibilité constante et de son impressionnante évolutivité.
4. La grande polyvalence de Google est un avantage considérable en soi, car elle offre un ensemble de solutions qui fonctionnent à la fois pour les environnements universitaires et commerciaux lorsque c’est nécessaire. Cela permet à Alphabet de créer de la valeur sur différents marchés, améliorant ainsi les niveaux de service globaux dans différentes industries.
5. La capacité de Google à intégrer de nouvelles technologies dans des solutions existantes stimule l’innovation tout en améliorant les performances et la polyvalence de son service HPC.
6. Cela ne veut pas dire que des technologies plus traditionnelles ne sont pas constamment développées et améliorées par Alphabet. Loin de là, l’engagement de Google à travailler avec des technologies de pointe permet d’améliorer constamment les capacités de solutions telles que le calcul haute performance pour différentes industries.

Atos

Atos est une grande société de services informatiques qui se concentre principalement sur la fourniture et la gestion d’infrastructures HPC. Elle peut déployer ces infrastructures, les gérer et conseiller les utilisateurs sur les problèmes qui peuvent survenir dans ces infrastructures.

Atos peut offrir des options d’infrastructure HPC sur site et en nuage. Atos fournit également des services de gestion HPC, allégeant ainsi le lourd fardeau de la gestion d’infrastructures HPC complexes pour ses utilisateurs. Parmi les autres services d’Atos, citons les programmes de formation avancée autour des capacités HPC afin de s’assurer que les clients peuvent utiliser le logiciel et le matériel de manière optimale, s’ils souhaitent les gérer eux-mêmes.

Atos peut fournir et gérer des déploiements HPC hybrides, ainsi que des infrastructures sur site et en nuage séparément. Cela va de pair avec une évolutivité impressionnante, qui est une capacité très précieuse dans un environnement moderne avec des demandes de données croissantes.

Pour les utilisateurs HPC, Atos est un orchestrateur et un conseiller fiable dans le secteur, offrant un ensemble complet d’infrastructures HPC et la capacité de les gérer au sein de la même entreprise. Les utilisateurs finaux disposent ainsi de beaucoup plus de temps pour se consacrer à la recherche ou à d’autres tâches qui nécessitent le HPC d’une manière ou d’une autre.

Exagrid

ExaGrid est une solution de stockage de sauvegarde principalement axée sur le matériel et conçue spécifiquement pour les gros volumes de données. Elle s’appuie sur un modèle de stockage hiérarchisé et une politique de sauvegarde intelligente qui rend les sauvegardes les plus récentes toujours accessibles, sans aucune compression. Il s’agit d’une solution de sauvegarde rapide, évolutive et fiable qui peut également s’avérer excellente pour la protection des données HPC, alliant performance et rentabilité.

Exagrid a été conçu pour gérer de grandes masses de données, ce qui le rend particulièrement utile pour les déploiements HPC. Il offre également des processus de restauration extrêmement rapides pour le stockage normal et les machines virtuelles, sans qu’aucune réhydratation ne soit nécessaire avant que les données ne puissent être réutilisées.

Les autres capacités d’ExaGrid comprennent un rapport coût-efficacité impressionnant grâce à l’architecture de tarification échelonnée et à l’utilisation d’une combinaison de matériel et de logiciel pour ses tâches de sauvegarde et de restauration. Chaque unité est son propre système autonome avec stockage, mémoire, processeur et autres éléments nécessaires, ce qui rend l’évolutivité beaucoup plus facile à long terme car certains éléments peuvent être remplacés au lieu de l’ensemble de l’appliance.

Rescale

Rescale est un développement relativement récent dans ce secteur – il s’agit d’un éditeur de logiciels qui a été créé en 2011 et qui propose désormais des services et des logiciels en nuage. L’offre de Rescale s’appelle Cloud Intelligent Computing ; elle peut être utilisée pour optimiser les flux de travail HPC existants (principalement des exemples sur site).

L’entreprise introduit aussi régulièrement des technologies cloud nouvelles et améliorées dans le domaine du calcul intensif pour faciliter la connexion des flux de travail HPC sur site avec leurs équivalents centrés sur le cloud. Par exemple, la possibilité d’accéder à distance aux ressources HPC est un avantage considérable pour les efforts de collaboration et d’innovation dans l’industrie, car la connexion est sûre et sécurisée, et la possibilité de contacter ces ressources améliore considérablement la mobilité des opérations HPC.

En outre, Rescale peut offrir un provisionnement rapide pour les clusters HPC basés sur le cloud, ce qui résout l’un des plus gros problèmes des déploiements HPC originaux (long temps de provisionnement). Ainsi, les solutions HPC peuvent être augmentées ou réduites rapidement, ce qui améliore considérablement la commodité et les performances de ces déploiements.

Rescale n’essaie pas non plus d’enfermer ses clients dans une collaboration avec un seul fournisseur de stockage en nuage, créant des opportunités de support avec différents fournisseurs HPC en nuage tout en étant capable de les gérer tous via Rescale.

L’entreprise peut toujours offrir tous les avantages de base d’un environnement HPC en nuage, qu’il s’agisse d’un temps de déploiement plus rapide par rapport au HPC sur site, d’une évolutivité plus rapide, d’une gestion plus facile et d’un coût initial plus faible. Ces avantages s’associent bien aux améliorations apportées par Rescale au flux de travail HPC existant, créant ainsi un ensemble de services et d’environnements plutôt intéressant.

Advanced HPC

Une autre entreprise relativement petite (par rapport à Microsoft et Amazon) spécialisée dans les services HPC s’appelle justement Advanced HPC. Elle a été fondée en 2009 et reste l’un des principaux fournisseurs de services HPC sur le marché. Advanced HPC propose non seulement des serveurs haute performance, des solutions de mise en réseau et des offres d’infrastructure, mais aussi de nombreuses possibilités de formation.

Parmi les autres capacités d’Advanced HPC, vous trouverez de nombreux services professionnels sur le marché, y compris la capacité de gestion :

• Clusters HPC,
• Solutions NAS pour les entreprises,
• Systèmes de fichiers parallèles, et plus encore.

AHPC offre la possibilité de construire des solutions HPC complètes et clés en main à partir de zéro au lieu de se contenter de vendre des composants séparés pour les systèmes HPC. Chacun de ces systèmes peut être personnalisé d’une manière spécifique nécessaire au domaine de travail du client, créant ainsi une approche unique pour chaque client avec lequel AHPC travaille.

L’ensemble des avantages habituels s’applique également à AHPC – le coût initial moins élevé est inclus, l’infrastructure est beaucoup plus flexible, plus facile à gérer, et le temps de déploiement est de loin supérieur à n’importe quel déploiement sur site.

HPE

HPE est l’acronyme de Hewlett Packard Enterprise, une multinationale américaine spécialisée dans les technologies de l’information. Elle a été créée en 2015 dans le cadre de la scission de la société Hewlett-Packard. HPE se concentre principalement sur le segment B2B du marché, offrant des fonctionnalités telles que la mise en réseau, les serveurs, le stockage, la conteneurisation, et plus encore.

Les capacités de HPE en tant que l’un des fournisseurs HPC les plus importants comprennent :

• Stockage haute performance – une solution de stockage construite spécifiquement pour les charges de travail rapides à volume élevé que le HPC est connu pour attendre de ses computations et calculs.
• Serveurs optimisés pour le HPC – combinaisons de capacités de mise en réseau rapide, de processeurs à grande vitesse et de pools de mémoire extrêmement importants.
• HPE Superdome Flex Server – un serveur modulaire unique pour les charges de travail HPC.

HPE peut offrir des capacités de consultation dans le domaine du HPC (conception optimale de l’infrastructure et objectifs de performance attendus), des capacités HPC basées sur le cloud (capacités de déploiement HPC cloud de base) et une assistance client complète pour les environnements HPC existants (expertise technique approfondie sur le thème du HPC, dépannage, maintenance continue, et plus encore).

Les capacités HPC en nuage de HPE offrent le même ensemble d’avantages que la plupart des fournisseurs HPC en nuage peuvent avoir, notamment une gestion plus facile de l’infrastructure, un coût de déploiement initial plus faible, une vitesse de déploiement élevée et des performances encore meilleures grâce au matériel de HPE qui est construit sur mesure et optimisé pour les charges de travail HPC.

Storj

Storj est un service de stockage cloud distribué qui utilise les technologies blockchain pour offrir une solution sûre et sécurisée pour le stockage des données, en particulier pour les informations sensibles telles que les données d’entraînement HPC. Storj peut offrir un accès très efficace aux données, quel que soit l’endroit où elles se trouvent spécifiquement. Il peut également traiter facilement de gros volumes de données, ce qui en fait un candidat de choix pour les cas d’utilisation orientés HPC.

Il s’agit d’une solution économique dotée d’une structure décentralisée, ce qui crée une combinaison inhabituelle de haute sécurité et de prix bas dans un même ensemble. La structure en question offre également beaucoup de redondance par défaut, ce qui la rend extrêmement précieuse pour tous les cas d’utilisation qui accordent de l’importance à la haute disponibilité et à la durabilité (le HPC est l’un des principaux exemples de ces clients).

Bacula Enterprise

Bacula Enterprise est une plateforme de sauvegarde et de restauration complète et hautement sécurisée qui excelle dans les environnements HPC, avec de nombreuses capacités et fonctionnalités spécifiques au HPC. Elle prend en charge de nombreux types de stockage différents, y compris le stockage physique, le stockage virtuel, le stockage en nuage, les bases de données, les applications, etc. La solution elle-même a été conçue pour gérer des systèmes de données vastes et complexes sans dépendre d’une tarification basée sur la capacité, ce qui en fait une option intéressante pour de nombreux secteurs et domaines de spécialisation, y compris le HPC.

Le système modulaire de Bacula en fait un excellent choix pour pratiquement tous les environnements complexes, car il permet d’étendre ses fonctionnalités initiales avec un minimum d’efforts. Il permet également de gérer et de traiter de grands volumes de données sous différentes formes – une capacité importante que les infrastructures HPC recherchent en permanence. Le logiciel Bacula est également très évolutif et personnalisable, ce qui élargit considérablement ses capacités en termes de clientèle potentielle. Le système d’abonnement utilisé par Bacula Enterprise est un autre avantage pour les industries qui travaillent régulièrement avec de grandes masses de données, comme l’industrie HPC. Par exemple, le modèle de licence est hautement modulaire, ce qui signifie que les utilisateurs ne paient des frais de licence que pour les modules (ou plugins) utilisés. Mieux encore, Bacula ne structure pas ses licences en fonction du volume de données, ce qui signifie que le logiciel est non seulement facilement évolutif de par sa conception, mais aussi de par son prix.

Un autre témoignage des capacités de Bacula dans le domaine du calcul intensif est le nombre de différents clients qu’il a rassemblés au fil des ans, y compris des organisations qui utilisent régulièrement des infrastructures de calcul intensif – l’école d’informatique de l’université Queen’s, l’université Texas A&M, l’université de Gand, et même la NASA elle-même. Grâce à ses niveaux de sécurité élevés, Bacula est utilisé par la plus grande organisation de défense au monde et par le plus grand prêteur non bancaire au monde.

Un domaine important dans lequel Bacula contribue au monde HPC est celui de la conformité. Pour de nombreuses organisations qui se trouvent de plus en plus dans l’obligation de répondre à des exigences réglementaires et à des besoins de conformité, les rapports étendus de Bacula sur l’ensemble des environnements HPC les aident à atteindre les normes et les certifications nécessaires pour qu’ils soient correctement opérationnels.

Les défis du HPC

Le calcul haute performance peut être un outil très puissant dans les bonnes circonstances, mais la technologie a sa part d’inconvénients et de défis. Certains de ces défis sont relativement courants dans un domaine en évolution rapide comme le calcul intensif, tandis que d’autres sont un peu plus inhabituels en comparaison.

• Les infrastructures HPC sur site sont souvent extrêmement coûteuses en termes de prix initial. Le service HPC en nuage est une bonne alternative qui est beaucoup moins chère en comparaison, mais il peut ne pas offrir la flexibilité et la commodité d’une infrastructure physique gérée personnellement. C’est pourquoi de nombreuses entreprises essaient de travailler avec une forme d’environnement HPC hybride – qui présente également ses propres défis en termes de complexité.
• Les systèmes HPC utilisent des dizaines de GPU et de CPU dans une solution unique, et la compatibilité est un sujet très problématique pour de telles solutions – nécessitant beaucoup de connaissances et de ressources pour s’assurer que le système fonctionne correctement (un problème important pour les déploiements HPC sur site). La même logique s’applique à l’aspect logiciel du sujet – la parallélisation n’est pas une technologie prête à l’emploi, elle nécessite beaucoup d’optimisation et de configuration pour s’assurer que les tâches de calcul sont réparties uniformément entre les ressources HPC.
• La rapidité des progrès dans le domaine, en particulier en ce qui concerne les améliorations liées à l’IA, rend encore plus coûteux le suivi des progrès liés au HPC, tant en termes de matériel que de logiciel. Il est vrai que ce problème est beaucoup plus important pour les installations HPC sur site, mais les HPC basés sur le cloud sont également sensibles au même problème – et l’inconvénient des mises à niveau régulières se traduirait tôt ou tard par un coût de service plus élevé.
• Gérer les HPC dans leur ensemble peut être une tâche extrêmement difficile que peu de professionnels de l’informatique peuvent gérer. Le problème global est encore plus grave pour les déploiements HPC hybrides en raison de la combinaison de solutions HPC physiques et virtuelles. Trouver ne serait-ce qu’un seul de ces professionnels peut s’avérer très difficile, et garder cette même personne dans l’entreprise est un défi encore plus grand dans un environnement moderne avec un niveau élevé de concurrence.
• La sécurité des données dans son ensemble reste un problème important pour toute industrie moderne, y compris le HPC – en particulier lorsqu’il s’agit d’environnements HPC hybrides et basés sur le cloud.
• Les problèmes de consommation d’énergie existants sont également présents pour les solutions HPC car ces solutions utilisent plusieurs unités matérielles à la fois, ce qui augmente de manière exponentielle les niveaux de consommation d’énergie globaux. L’efficacité énergétique est un sujet très important dans ce contexte.

L’avenir du calcul de haute performance

S’il est vrai qu’une grande partie de la popularité récente du HPC peut être attribuée à la montée soudaine de l’IA en tant que dernière « tendance informatique », le paysage global de ces technologies de haut niveau est relativement volatile, ce qui oblige les fournisseurs de HPC à s’adapter et à évoluer aussi vite que possible pour rester pertinents. Ainsi, l’industrie du calcul intensif continuera d’exister tant qu’il y aura une demande de puissance de calcul massive pour des cas d’utilisation spécifiques – qu’il s’agisse d’IA, d’IdO, d’imagerie 3D, combinés à l’un des nombreux types de domaines d’application tels que la simulation de la physique des particules, l’analyse météorologique, la découverte de médicaments et la modélisation moléculaire, le séquençage du génome, l’exploration spatiale, l’exploration pétrolière et gazière, l’imagerie sismique et la modélisation des tremblements de terre, etc. Les développements passionnants et significatifs du calcul intensif, tant sur le plan technique que stratégique, signifient que cette discipline a un avenir brillant et qu’elle apportera certainement beaucoup à l’humanité à l’avenir.