Databricks lança DBRX, novo padrão para modelos eficientes de Open Source
Salvador, 01/04/2024 – A Databricks, empresa de dados e Inteligência Artificial, anuncia o lançamento do DBRX, solução de Large Language Model (LLM) para uso geral, com desempenho superior a todos os atuais modelos Open Source do mercado. O novo produto chega para democratizar o treinamento e a otimização de LLMs customizáveis de alta performance para todos os tipos de companhias, para que elas não precisem mais depender das poucas opções de fornecedores de modelos de código aberto atuais. Disponível a partir deste mês, o DBRX possibilita que organizações de todo o mundo construam, treinem e ofertem seus próprios LLMs, com um bom custo-benefício.
“Na Databricks, nossa visão sempre foi democratizar o uso de dados e da IA. Estamos fazendo isso ao entregarmos inteligência de dados para cada empresa, ajudando-as a entender e usar os próprios dados para construir sistemas de Inteligência Artificial. O DBRX é o resultado deste foco”, diz Ali Ghodsi, co-fundador e CEO da Databricks. “Estamos felizes com o lançamento da solução por três principais motivos: primeiramente, ela supera os modelos de Open Source de última geração do mercado. Além disso, ela é superior ao GPT-3.5 em quase todas as funcionalidades, o que deve acelerar a tendência vista na nossa base de clientes, na qual as companhias estão substituindo modelos proprietários por opções de código aberto. Por último, o DBRX usa a arquitetura Mixture-Of-Experts (MoE) – em português ‘Mistura de Especialistas’, uma técnica de aprendizado de máquina que pode ser aplicada em várias áreas –, o que torna o modelo extremamente rápido em termos de tokens por segundo, além do bom custo-benefício. Resumindo: o novo modelo eleva o patamar para LLMs de Open Source, permitindo que empresas construam suas próprias plataformas com capacidade de raciocínio personalizada a partir de bases de dados próprias”, explica o executivo.
DBRX supera modelos Open Source disponíveis em diferentes mercados
O DBRX é superior aos LLMs Open Source existentes no mercado, como as soluções Llama 2 70B e Mixtral-8X7b, comparando atributos de entendimento de linguagem, programação, matemática e lógica.
Além disso, o DBRX supera o GPT-3.5 em diversas comparações relevantes.
Para se aprofundar, avaliar, comparar performance e entender mais sobre como o DBRX é competitivo com o GPT-4 para uso interno, como nos casos do SQL, visite o blog Mosaic Research.
DBRX define um novo modelo para a eficiência de LLMs Open Source
A Databricks otimizou o DBRX com uma arquitetura Mixture-Of-Experts (MoE), construída no projeto MegaBlocks Open Source. O modelo resultante demonstrou desempenho líder e é até duas vezes mais eficiente em termos de computação do que outros LLMs disponíveis.
Por isso, o DBRX define um novo padrão de modelo Open Source, permitindo uma IA customizável e transparente para empresas de todos os segmentos. Uma pesquisa recente feita por Andreessen Horowitz descobriu que quase 60% dos líderes em IA estão interessados em aumentar o uso de Open Source ou a trocá-los quando modelos mais afinados de Open Source corresponderem à performance de modelos Closed Source. A partir de 2024, espera-se um deslocamento do uso de Closed Source para o uso de Open Source, e a Databricks acredita que o DBRX vai acelerar essa tendência.
Organizações se beneficiam com as possibilidades de nível empresarial ofertadas pelo DBRX, na Data Intelligence Platform da Databricks
Pareado com a ferramenta unificada Mosaic AI da Databricks, o DBRX ajuda os clientes a rapidamente construir e implementar aplicativos de IA generativa com qualidade de produção que sejam seguros, precisos e governados, sem abrir mão do controle de seus dados e propriedade intelectual. Na Data Intelligence Platform Databricks, os usuários se beneficiam de recursos integrados de gerenciamento de dados, governança, linhagem e monitoramento.
“O Zoom está usando o poder dos LLMs para proporcionar novos recursos na plataforma, como nossa AI Companion. Estamos ansiosos para avaliar o potencial do DBRX em tornar o treinamento e o uso de IA generativa customizada mais rápidos e mais econômicos”, diz Chenguang Zhu, head de GenAI Science do Zoom.
Disponibilidade
O DBRX está disponível para pesquisa e uso comercial por meio do GitHub e do Hugging Face. A partir de março de 2024, na plataforma da Databricks, empresas poderão interagir com o DBRX, aproveitar suas habilidades de contexto longo em sistemas de Retrieval Augmented Generation (RAG) e construir modelos de DBRX customizados com os próprios dados privados. O DBRX ainda está disponível no Amazon Web Services (AWS) e no Google Cloud, bem como diretamente no Microsoft Azure por meio do Azure Databricks.
Espera-se também que o DBRX esteja disponível no catálogo API da NVIDIA e seja suportado no micro serviço de inferência da NVIDIA NIM.
