Le partenariat est conçu pour donner aux décideurs informatiques la flexibilité nécessaire pour exécuter une inférence d’IA efficace et performante à grande échelle, indépendamment du matériel sous-jacent.
Le partenariat est conçu pour donner aux décideurs informatiques la flexibilité nécessaire pour exécuter une inférence d’IA efficace et performante à grande échelle, indépendamment du matériel sous-jacent.
Chapeau rouge, un leader mondial des solutions open source, a annoncé une collaboration élargie avec Amazon Web Services (AWS) pour fournir des fonctionnalités d'IA générative (gen AI) de niveau entreprise sur AWS à l'aide de Red Hat AI et du silicium AWS AI. Le partenariat est conçu pour donner aux décideurs informatiques la flexibilité nécessaire pour exécuter une inférence d’IA efficace et performante à grande échelle, indépendamment du matériel sous-jacent.
La demande croissante de gen AI et d’inférence évolutive incite les organisations à repenser leur infrastructure informatique. Selon IDC, d’ici 2027, 40 % des organisations devraient utiliser du silicium personnalisé, notamment des processeurs ARM ou des puces spécifiques à l’IA/ML, pour répondre aux besoins croissants d’optimisation des performances, de rentabilité et d’informatique spécialisée. Cela souligne l’importance des solutions qui améliorent la puissance de traitement, réduisent les coûts et accélèrent l’innovation pour les applications d’IA hautes performances.
La collaboration rassemble les capacités complètes de la plateforme d'IA de Red Hat avec l'infrastructure cloud AWS et les chipsets d'IA, notamment AWS Inferentia2 et AWS Trainium3. Red Hat AI Inference Server, optimisé par vLLM, sera optimisé pour fonctionner sur les puces AWS AI, fournissant une couche d'inférence commune prenant en charge n'importe quel modèle d'IA de génération. Cela permet des performances plus élevées, une latence plus faible et une mise à l'échelle rentable des déploiements d'IA de production, avec un rapport prix-performance jusqu'à 30 à 40 % supérieur à celui des instances Amazon EC2 comparables basées sur GPU.
Red Hat a également intégré des fonctionnalités d'IA dans Red Hat OpenShift, notamment le développement d'un opérateur AWS Neuron pour Red Hat OpenShift, Red Hat OpenShift AI et Red Hat OpenShift Service sur AWS. Ces initiatives offrent aux clients une voie transparente et prise en charge pour exécuter des charges de travail d'IA à l'aide des accélérateurs AWS. L'accès amélioré aux puces AWS AI et la sortie de la collection Ansible certifiée amazon.ai simplifient davantage le déploiement et l'orchestration des services d'IA sur AWS.
De plus, Red Hat et AWS collaborent pour optimiser un plugin de puce AWS AI en amont pour vLLM, Red Hat contribuant en tant que principal partisan commercial de vLLM. La plateforme vLLM sous-tend llm-d, un projet open source permettant l'inférence d'IA à grande échelle, désormais pris en charge commercialement via Red Hat OpenShift AI 3.
Cette collaboration s'appuie sur le partenariat de longue date entre Red Hat et AWS, répondant aux besoins changeants des organisations intégrant l'IA dans les stratégies de cloud hybride. Il offre aux entreprises une voie optimisée et efficace pour obtenir des résultats d’IA de génération hautes performances dans les environnements cloud et sur site.
