Red Hat dá um grande passo para democratizar a IA generativa
Salvador, 20/05/2025 – Um passo significativo para democratizar a IA generativa (gen AI) foi dado hoje com o lançamento do Red Hat AI Inference Server. Disponível dentro do Red Hat AI, o servidor de inferência de nível empresarial nascido a partir do poderoso projeto comunitário vLLM, aprimorado pela integração das tecnologias Neural Magic na Red Hat, oferecendo mais velocidade, eficiência no uso de aceleradores e melhor relação custo-benefício para ajudar a concretizar a visão da Red Hat de rodar qualquer modelo de geração AI, em qualquer acelerador de IA e em qualquer ambiente de nuvem.
A inferência se tornou o motor do sucesso da IA, é por meio dele que modelos pré-treinados traduzem dados para o mundo real. À medida que os modelos de geração de IA se tornam mais complexos e suas implantações em produção se expandem, a disciplina pode se tornar um gargalo significativo, consumindo recursos de hardware, comprometendo a capacidade de resposta e inflacionando os custos operacionais. Dessa forma, servidores de inferência robustos não são mais um luxo, mas sim uma necessidade para desbloquear o verdadeiro potencial da IA em escala.
A Red Hat aborda diretamente esses desafios com o Red Hat AI Inference Server — uma solução de inferência aberta, projetada para funcionar com alto desempenho e equipada com as principais ferramentas de atualização e otimização de modelos. A inovação permite que as organizações desfrutem da geração de IA, por meio de experiências do usuário exponencialmente mais rápidas e uma liberdade única para escolher aceleradores de IA, modelos e ambientes de TI.
vLLM: ampliando a inovação em inferência
O Red Hat AI Inference Server é baseado no projeto vLLM, líder do setor, iniciado pela Universidade da Califórnia, Berkeley, em meados de 2023. Esse projeto comunitário oferece inferência de geração de IA de alto rendimento, suporte a grandes contextos de entrada (contexto de entrada), geração de modelos multi-GPUs, suporte para agrupamento contínuo (batch contínuo) e muito mais.
O amplo suporte do vLLM a modelos disponíveis publicamente, aliado à sua integração desde o princípio com modelos de ponta como DeepSeek, Gemma, Llama, Llama Nemotron, Mistral, Phi entre outros, o posicionamento como o padrão para inovações futuras em inferência de IA.
Apresentando o Red Hat AI Inference Server
O Red Hat AI Inference Server incorpora a inovação vLLM e o pacote em soluções empresariais. O servidor está disponível como uma oferta conteinerizada independente ou como parte do RHEL AI e do Red Hat OpenShift AI.
Em qualquer ambiente de implantação, o Red Hat AI Inference Server fornece aos usuários uma distribuição sólida e com suporte no vLLM, além de:
• Ferramentas inteligentes para análise de LLM com o objetivo de reduzir drasticamente o tamanho dos modelos de IA fundamentais e ajustados, minimizando o consumo de desempenho enquanto preserva e melhora a precisão dos modelos.
• Repositório de modelos otimizado , hospedado no perfil da Red Hat AI no Hugging Face, o que oferece acesso instantâneo a uma coleção validada e otimizada de modelos de IA prontos para implantação em inferência, ajudando a acelerar a eficiência de 2 a 4 vezes sem comprometer a precisão dos modelos.
• Suporte corporativo da Red Hat e décadas de experiência para levar projetos comunitários a ambientes produtivos.
• Suporte de terceiros para ter ainda mais flexibilidade de implantação, permitindo que o Red Hat AI Inference Server seja implantado em outras plataformas Linux e Kubernetes de acordo com a Política de Suporte de Terceiros da Red Hat.
Visão da Red Hat: qualquer modelo, qualquer acelerador, qualquer nuvem
O futuro da IA deve ser definido por oportunidades ilimitadas e não restrito por silos de infraestrutura. A Red Hat enxerga um horizonte no qual as organizações podem implantar qualquer modelo, em qualquer acelerador, em qualquer nuvem, entregando uma experiência de usuário excepcional e mais consistente, sem custos exorbitantes. Para desbloquear o verdadeiro potencial dos investimentos em IA, as empresas precisam de uma plataforma universal de inferência — um novo padrão para inovações em IA contínuas e de alto desempenho, tanto no presente quanto nos próximos anos.
Assim como a Red Hat foi pioneira na transformação do Linux em base fundamental da TI moderna, a empresa agora está preparada para arquitetar o futuro da inferência de IA. O vLLM tem o potencial de se tornar a peça-chave para uma inferência padronizada em gen AI, e a empresa está comprometida em construir um ecossistema próspero não apenas em torno da comunidade vLLM, mas também do llm-d , voltado para inferência distribuída em larga escala. O objetivo é claro: independentemente do modelo de IA, do acelerador subjacente ou do ambiente de implantação, a Red Hat pretende tornar o vLLM o padrão aberto definitivo para inferência na nova nuvem híbrida.
