Dell dévoile le serveur PowerEdge XE9680 avec huit GPU AMD Instinct MI300X
Dell Technologies a annoncé le lancement de son dernier serveur, le PowerEdge XE9680, doté d'une intégration de pointe avec les GPU IA Instinct MI300X d'AMD. Cette collaboration marque une avancée significative dans les solutions d'IA générative, offrant aux entreprises un support robuste pour les performances et l'innovation de l'IA.
Performances d'IA puissantes avec l'intégration MI300X
Le nouveau serveur PowerEdge XE9680 de Dell intègre huit accélérateurs AMD Instinct MI300X, offrant des capacités de performances IA substantielles. Chaque serveur est équipé de 1,5 To de mémoire HBM3 et offre une performance théorique maximale de 42 pétaFLOPS. Cette configuration puissante est conçue pour accélérer la formation et l'inférence de grands modèles de langage (LLM), permettant aux entreprises d'obtenir des informations et des innovations efficaces basées sur l'IA.
Le serveur a démontré une rentabilité significative dans les configurations à nœud unique. Par exemple, le modèle de paramètres Llama 2 70B a été déployé avec succès sur un seul accélérateur MI300X et mis à l'échelle sur huit instances simultanées en utilisant les huit accélérateurs. De plus, le réglage fin du modèle Llama 2 70B a été réalisé avec la précision FP16.
Intégration de technologies avancées
Le serveur PowerEdge XE9680 intègre plusieurs technologies avancées pour prendre en charge la mise en œuvre et la mise à l’échelle rapides de solutions d’IA génératives. Dell OpenManage Enterprise simplifie le déploiement, tandis que le logiciel APEX AIOps fournit une automatisation intelligente. Les nouveaux services de déploiement, dont le lancement est prévu en septembre, garantissent une intégration fluide de ces innovations dans les opérations de l’entreprise.
Les composants clés de ce déploiement incluent le Dell PowerSwitch Z9664F-ON, qui fournit 64 ports de 400 GbE pour prendre en charge les structures Ethernet à faible latence et à haut débit pour les clusters d'IA modernes. De plus, les cartes réseau optimisées pour l'IA Broadcom Thor2 offrent des interconnexions 400G, fournissant des connexions à faible consommation pour les accélérateurs MI300X.
Élargir l’écosystème de l’IA générative
Le serveur Dell PowerEdge XE9680 est pris en charge par le framework AMD ROCm, qui étend l'écosystème des solutions d'IA génératives de Dell. Ce framework prend en charge divers modèles de langages open source volumineux, notamment PyTorch, TensorFlow, ONNX-RT et JAX. Les accélérateurs AMD Instinct sont également fournis avec une prise en charge complète des pilotes, des kits d'outils de développement et des API.
Dell Omnia simplifie la création et la gestion des clusters d'IA, permettant une configuration automatisée et améliorant l'efficacité du traitement des charges de travail. De plus, Dell Technologies a lancé une version de distribution SONiC d'entreprise, combinant la plateforme open source SONiC avec Dell PowerSwitch pour des fonctionnalités avancées et un support de niveau entreprise.
Lignes directrices pour la conception de l'IA générative et assistance aux développeurs
En mai, Dell et AMD ont publié un guide de vérification de la conception de l'IA générative, qui est récemment devenu disponible. Ce guide fournit des instructions complètes pour la mise en œuvre de l'inférence de modèles de langage à grande échelle (LLM), de la personnalisation de modèles, du réglage fin et des technologies de génération augmentée de récupération (RAG). La conception est basée sur des normes ouvertes, réduisant ainsi la dépendance aux suites logicielles d'IA propriétaires et permettant aux développeurs d'utiliser des modèles LLM open source de partenaires tels que Hugging Face et Meta.
Impact transformateur sur l'innovation en matière d'IA
La collaboration entre Dell et AMD, via l'introduction des accélérateurs d'IA Instinct MI300X et des solutions d'IA génératives, offre aux entreprises une base solide pour le développement de l'IA. En proposant une infrastructure locale efficace et rentable et un écosystème ouvert, Dell et AMD génèrent des innovations et des résultats plus rapides et plus efficaces basés sur l'IA.
Le serveur Dell PowerEdge XE9680 avec processeurs graphiques AMD Instinct MI300X représente une avancée significative dans la technologie d'IA générative, en aidant les entreprises à exploiter des capacités d'IA avancées pour diverses applications. Cette intégration souligne l'évolution continue et l'accessibilité croissante des solutions d'IA dans le secteur des entreprises.
