Além das palavras: a IA se torna multimodal para atender às suas necessidades

Por Susanna Ray da Microsoft

Salvador, 29/03/2025 – Você está chorando há dias e alguém está navegando na web quando se depara com uma foto de uma bela praia com água azul-turquesa que brilha ao sol. “Onde é isso e como posso chegar lá?”, pergunta.

A resposta é imediata. O assistente de IA não apenas identifica a praia, mas também monta um plano de férias completo para uma pessoa. Ela discute os detalhes para refinar seu itinerário, obtendo dicas para lidar com o clima o começa a tocar uma trilha sonora para ajudar a melhorar seu humor.

As experiências de IA estão se tornando cada vez mais multimodais, o que significa que podem ir além dos simples prompts de texto. O dígito individual é uma pergunta, a ferramenta responde – usando imagens, áudio e vídeo. Esses recursos estão ajudando as ferramentas de IA mais recentes para obter uma visão mais completa do que deseja fazer, ao mesmo tempo em que oferecem maneiras mais intuitivas de interagir com a tecnologia e obter informações de forma ainda mais rápida e fácil.

Assim como os cérebros humanos absorveram informações de texto, imagens e áudio simultaneamente, com a IA multimodal, os pesquisadores trabalharam para “colapsar todos esses recursos em um modelo universal”, diz Ryan Volum, que está orientando o desenvolvimento de produtos de IA na Microsoft. “Estamos dando a ele cada vez mais o mundo que vemos como humanos.”

Embora os modelos de IA multimodais não sejam totalmente novos, eles estão começando a ter impacto no mundo real com ferramentas para ajudar os médicos a diagnosticar e tratar pacientes com mais resultados e as agências secundárias a prever tempestades severas com mais resultados .

“Cada vez mais, a inteligência artificial vai ao nosso encontro para que possamos entender melhores nossas necessidades e atendê-las de forma proativa”.

As ferramentas multimodais estão ajudando as pessoas a simplificar questões mundanas – como quando Volum estava recentemente tentando escolher entre diferentes opções de seguro de saúde.

Em vez de ter que se debruçar sobre a linguagem densa de cada plano, o Volum recorreu ao Copilot Vision , um recurso da Microsoft que fornece assistência em tempo real para tornar a navegação na web menos opressora. Com sua permissão, o Copilot Vision foi capaz de ver tudo no site que ele estava examinando – não apenas texto, mas também gráficos e imagens – e resumir tudo para ele em menos tempo do que levaria para percorrer a primeira linha.

Em seguida, respondeu às suas perguntas em uma conversa natural, trazendo informações de outras fontes para fornecer o contexto que o ajudou a decidir.

“Foi capaz de me encontrar no meu mundo” e oferecer uma melhor assistência, diz Volum. Ele compara isso a como duas pessoas costumam trabalhar juntas para pilotar um avião.

“Se o seu copiloto em um avião pudesse ouvir apenas o que você está dizendo, mas não pudesse ver o que você está vendendo, ele seria muito menos útil”, diz ele. “Mas como eles são capazes de ver as nuvens à frente, os indicadores do painel, a telemetria do avião, esse copiloto pode ser muito mais útil e há muito menos trabalho necessário para o usuário comunicar o que precisa.”

Como funcionam os modelos de IA multimodais e o que eles podem fazer

Com a IA multimodal, os desenvolvedores construíram sobre uma base de avanços recentes com linguagem natural e estenderam esses recursos para diferentes entradas. Assim como os modelos tradicionais de linguagem grande (LLMs) executam tarefas baseadas em texto extraindo conceitos codificados na linguagem humana e pensados para fazer inferências lógicas, resolver problemas e gerar conteúdo, os modelos multimodais fazem o mesmo com outros modos de comunicação, como voz e recursos visuais.

Os modelos são treinados em vastos conjuntos de dados para identificar os principais recursos em diferentes tipos de dados, como palavras e frases em texto, formas e núcleos em imagens ou toneladas em áudio. Eles classificam essas entradas e as conectam de maneira unificada – ligando uma imagem de um gato à palavra digitalizada e falada, por exemplo – e então regulam padrões para fazer conexões entre as modalidades.

Depois de treinado, um modelo pode entender e criar conteúdo. Ele pode gerar uma imagem a partir das instruções faladas de alguém, por exemplo, ou criar um áudio a partir de uma solicitação digitada.

Esses recursos expandidos estão ajudando médicos e cientistas, em particular, a fazer grandes avanços, diz Jonathan Carlson, que liderou a pesquisa em saúde e ciências da vida na Microsoft Health Futures.

Os LLMs são usados durante as consultas médicas para gravar e classificar as conversas com os pacientes – mesmo que a discussão tenha oscilado entre sintomas e perguntas – para várias tarefas de acompanhamento que, de outra forma, tomam muito tempo e atenção do médico, como redigir um resumo pós-consulta e um encaminhamento para um especialista que o médico só precisa provar e verificar.

E os modelos multimodais estão dando um passo adiante ao aplicar essa capacidade de cálculo para analisar pixels em imagens médicas, identificando possíveis tumores ou outras anomalias que podem ser difíceis de encontrar. A IA pode ser usada para apoiar e validar o trabalho de um patologista e até mesmo capturar o que um olho humano pode perder, diz Carlson, ou ajudar a diagnosticar doenças raras que têm dados de treinamento limitados.

“Agora temos modelos que entendem conceitos codificados em imagens e na linguagem”, diz Carlson. “Então você pode dizer: ‘Ei, eu tenho uma imagem de patologia, mostre-me todas as células imunológicas, identifique todas as células cancerígenas suspeitas e me diga se há algum biomarcador provável que possa me ajudar a escolher o tratamento adequado’. Depois de ter modelos com esses conceitos, é realmente muito simples alinhar esses conceitos e basicamente juntá-los e acabar com essa experiência rica em que agora é possível conversar com uma imagem.

Essa ajuda a orientar os médicos em direção a testes mais direcionados e tratamentos precisos, melhorando os resultados por meio de diagnósticos precocemente e economizando tempo, desconforto e dinheiro dos pacientes, procedimentos convenientes.

Como é possível explorar a multimodalidade

Muitas pessoas poderão utilizar recursos multimodais nos navegadores Edge com o Copilot Vision, agora disponível para todos os usuários do Copilot Pro e do Copilot gratuitamente nos Estados Unidos. Cada pessoa não tem controle quando se trata de usar uma nova ferramenta: basta clicar no ícone Copilot Vision para iniciar uma sessão e, ao cerrá-la, os dados serão excluídos.

Empresas e desenvolvedores podem escolher entre um catálogo completo de modelos multimodais — ou obter ajuda para educação e combinar entre as 1.800 opções no Azure AI Foundry — para criar ferramentas comerciais mais inteligentes e interativas.

A Mercedes-Benz , por exemplo, criou uma ferramenta que usa o Azure AI Vision e o GPT-4 Turbo para ver os arredores de um carro e responder verbalmente às perguntas do motorista, como por exemplo se ele tem permissão para estacionar em uma determinada rua ou qual é o prédio do qual está se aproximando.

O modelo Magma recentemente lançado pela Microsoft integra a percepção visual com a compreensão da linguagem para ajudar assistentes ou robôs com inteligência artificial a entender ambientes nos quais não foram treinados e instruir ações detalhadas para novas tarefas – como pegar uma ferramenta ou navegar em um site e clicar em um botão para executar um comando. É um passo significativo na direção dos agentes de IA que podem servir como assistentes versáteis e de uso geral.

E o novo modelo multimodal Phi-4 pode processar fala, visão e texto diretamente em dispositivos, usando menos poder de computação do que seus antecessores. Esse modelo menor e mais acessível permite que os desenvolvedores criem aplicativos eficientes que se destacam em tarefas matemáticas e lógicas.

Os recursos multimodais em serviços como o Reconhecimento de Conteúdo de IA do Azure podem ajudar a encontrar insights de muitos dados não estruturados, como gravação de call center, documentos digitalizados ou mensagens de mídia social.

Áudio e vídeo aumentam as apostas para a segurança

Toda essa capacidade vem com novos riscos e uma necessidade mais ampla de educação sobre IA e colaboração para cobri-la, diz Sarah Bird, diretora de produtos de IA responsável da Microsoft.

A forma como as pessoas são representadas – ou deturpadas – é um risco exclusivo da IA multimodal, diz Bird, uma vez que a maneira como alguém se parece ou então pode ser representada com a tecnologia generativa.

E as reações das pessoas mudam com as modalidades utilizadas, diz ela. Por exemplo, imagens violentas são percebidas como mais graves do que textos violentos; um vídeo é visto como mais confiável do que uma história escrita; e quando um assistente de IA como o Copiloto fala com uma voz audível, os erros parecem mais intencionais do que quando aparecem na tela.

Portanto, pesquisadores e engenheiros de segurança da Microsoft estão construindo em cima das proteções já existentes para IA generativa, segundo Bird.

À medida que as mais modalidades introduzem mais riscos, entradas como texto, imagens ou áudio que podem ser benignos por si só podem ser usados para criar conteúdo prejudicial quando combinados, como uma foto de uma pessoa famosa com texto descrevendo-a como um animal. É por isso que a Microsoft está atualizando seus modelos de segurança para verificar a soma da saída, em vez de apenas as partes individuais, diz Bird.

A ampla conscientização sobre os riscos e como considerar o conteúdo gerado pela IA também é fundamental. A Microsoft assina criptograficamente todo o conteúdo gerado por IA feito com sua tecnologia para que qualquer pessoa possa identificá-lo. A educação e o treinamento são cruciais para que as pessoas saibam esperar essas assinaturas e o que elas significam, assim como a colaboração entre organizações de tecnologia, como a coalizão C2PA fundada pela Microsoft e outros líderes do setor para desenvolver padrões para a certificação de fontes.

“Há muito que podemos fazer tecnologicamente e dentro da plataforma” para reduzir o risco, diz Bird. “Mas também, há novos conteúdos no mundo, e o mundo precisa ajustar sua abordagem a isso. Cada pessoa tem um papel a destacar na forma como avaliamos e nos defendemos contra riscos multimodais.”

Abrindo um mundo de oportunidades

A pesquisa está avançando rapidamente à medida que os desenvolvimentos ocorrem. Pela primeira vez, apenas nos últimos dois anos, segundo Carlson, os pesquisadores têm o maquinário e a assistência multimodal de IA que lhes permite construir uma imagem holística de uma célula.

“O próximo conjunto de coisas é: como um modelo aprende a entender as proteínas?” ele diz. “Temos trabalhado muito nisso, e você pode pegar as mesmas ideias de modelagem de linguagem e aplicá-las a centenas, milhares, milhões de sequências de proteínas” para projetar antígenos para vacinas, por exemplo.

“Trata-se de aprender a linguagem da natureza”, diz ele. “Da mesma forma que aprender a linguagem de como os humanos falam, podemos aprender a linguagem de como a célula se expressa ou como as sequências de proteínas realmente funcionam?”

Ser capaz de usar texto, fala, imagens, áudio e vídeo para resolver todos os tipos de problemas de uma só vez abre um mundo de novas oportunidades. “Cada vez mais, a inteligência artificial nos descobrir onde estamos”, diz Volum, “para que possamos entender melhores nossas necessidades e atendê-las de forma mais proativa”.

Ilustrações de Michał Bednarski / Makeshift Studios. História