- Red Hat Inference Server combineert vLLM en Neural Magic voor snellere, efficiëntere AI-inference in elke hybride cloudomgeving
- Samenwerking met Google Cloud maakt Red Hat Inference Server native beschikbaar op Google Cloud
BOSTON, 21 mei 2025 —
Red Hat, marktleider in open source-oplossingen, kondigt vandaag Red Hat AI Inference Server aan. Deze nieuwe oplossing binnen Red Hat AI laat bedrijven generatieve AI sneller, goedkoper en flexibeler draaien, ongeacht het AI-model, de hardware of de cloudomgeving. De tool is gebouwd op de vLLM-communitytechnologie (“virtualized Large Language Model inference”) van UC Berkeley en wordt versterkt met compressie en optimalisatie via Neural Magic. Het nieuws werd bekendgemaakt tijdens de jaarlijkse
Red Hat Summit, dit jaar in Boston.
Red Hat Inference Server kan zelfstandig draaien of geïntegreerd worden in Red Hat Enterprise Linux AI (RHEL AI) en Red Hat OpenShift AI. Organisaties kunnen zo AI veel vlotter en betrouwbaarder in productie inzetten.
Inference wordt de motor van AI
Inference is het moment waarop een AI-model antwoord geeft op een vraag. Die fase vergt echter veel rekenkracht. Als AI-oplossingen schalen, kan inference snel traag, duur en foutgevoelig worden. Daarom is een krachtige, efficiënte inference-server essentieel.
Red Hat AI Inference Server pakt dat aan met een krachtige, open oplossing met ingebouwde compressie en optimalisatie, zodat inference zelfs met zware modellen en op verschillende infrastructuren snel verloopt.
vLLM als fundament
De basis van Red Hat AI Inference Server is het vLLM-project: een snelgroeiende communitytool van UC Berkeley voor krachtige inference, met brede modelondersteuning en geavanceerde functies zoals multi-GPU support en grote contextverwerking.
vLLM wordt vandaag al gebruikt voor toonaangevende modellen als Llama, Mistral, DeepSeek, Phi, Llama Nemotron en Gemma – en groeit uit tot dé standaard voor inference.
Red Hat AI Inference Server combineert het beste van vLLM en Red Hat:
- Slimme compressie: verkleint modellen zonder nauwkeurigheid te verliezen, met minder hardwaregebruik als resultaat.
- Geoptimaliseerde modelkeuze: een Red Hat-modelrepository op Hugging Face met gevalideerde modellen voor directe inzet.
- Red Hat-ondersteuning: enterprise support en ervaring met open source-projecten in productie.
- Brede inzetbaarheid: werkt ook op andere Linux- en Kubernetes-platformen dan die van Red Hat, in lijn met het 3rd Party Support-beleid.
Eén platform voor elke AI-toepassing
Red Hat wil inference democratiseren: elk model, op iedere accelerator en op welke cloud dan ook. Géén beperkingen of keuzestress, wél vrijheid en schaalbaarheid. Zoals Red Hat vroeger Linux openbrak voor het bedrijfsleven, wil het nu inference standaardiseren voor AI. Met vLLM en
llm-d als hoekstenen van een open ecosysteem wil Red Hat bedrijven klaarstomen voor het AI-tijdperk – op een flexibele, schaalbare wijze en zonder onnodige kosten.
“Inference is het hart van generatieve AI. Het moet snel én betaalbaar zijn. Met Red Hat AI Inference Server bieden we een open platform dat elk model ondersteunt, op elke accelerator, in elke omgeving”, zegt
Joe Fernandes, VP & GM, AI Business Unit bij Red Hat.
Samenwerking met Google Cloud
Tijdens Red Hat Summit kondigden Red Hat en Google Cloud een samenwerking aan om de ingebruikname van AI-agents te versnellen door middel van:
- De lancering van het llm-d open source-project, met Google als medeoprichter.
- Ondersteuning voor vLLM op Google Cloud TPU’s en GPU-gebaseerde virtuele machines om AI-inference te verbeteren.
- Directe Day 1-ondersteuning voor vLLM binnen Gemma 3-modeldistributies.
- Ondersteuning voor Red Hat AI Inference Server op Google Cloud.
Het stimuleren van vooruitstrevende ontwikkeling van AI-agents, waarbij Red Hat bijdraagt aan de community van Googles
Agent2Agent (A2A)-protocol.
Over Red Hat
Red Hat is wereldwijd dé provider van enterprise open source software, met een community-gedreven aanpak voor de ontwikkeling van betrouwbare en goed presterende Linux-, hybride cloud-, container- en Kubernetes-technologieën. Red Hat helpt klanten met de integratie van nieuwe en bestaande IT-applicaties, ontwikkeling van cloud-native applicaties, standaardisatie op een toonaangevend besturingssysteem, en de automatisering, beveiliging en het beheer van complexe IT-omgevingen. Red Hat is een
trusted advisor voor Fortune 500-bedrijven, dankzij
bekroonde support-, trainings- en consultancydiensten. Lees voor meer informatie het
Red Hat blog, of volg Red Hat op
X,
Facebook,
YouTube en
LinkedIn.
Als strategische partner van cloudproviders, system integrators, applicatievendoren, klanten en open source-communities, helpt Red Hat organisaties zich voor te bereiden op de digitale toekomst.
Toekomstgerichte verklaringen
Met uitzondering van de hierin opgenomen historische informatie, kunnen verklaringen in dit persbericht toekomstgerichte verklaringen zijn in lijn met de Private Securities Litigation Reform Act van 1995. Toekomstgerichte verklaringen zijn gebaseerd op de huidige veronderstellingen van de onderneming over toekomstige bedrijfs- en financiële prestaties. Deze verklaringen gaan gepaard met een aantal risico's, onzekerheden en andere factoren waardoor de werkelijke resultaten wezenlijk kunnen verschillen. Elke toekomstgerichte verklaring in dit persbericht geldt alleen op de datum waarop ze wordt gedaan. Behalve indien wettelijk vereist, neemt de onderneming geen enkele verplichting op zich om toekomstgerichte verklaringen bij te werken of te herzien.
Voor meer persinformatie
Marlieke Tijman
+31 (0)23 555 34 24
redhat-nl@clarity.global