A importância de fazer uma gestão de risco da inteligência artificial

Por Marcos Roberto Pinotti, diretor de engajamento da Kron Digital

Salvador, 29/03/2024 – A tecnologia de inteligência artificial começa a permear todas as áreas das empresas e todos os setores produtivos. É, evidentemente, um caminho sem volta, pois estamos testemunhando mais um salto na transformação digital. Porém, os ganhos proporcionados pela IA não vêm sem riscos e é preciso gerenciá-los com segurança. Mas de quais ameaças estamos falando?

Atualmente, vemos a evolução da IA em suas diferentes formas de integração com as demais tecnologias, com aplicações em cibersegurança, big data, analytics, IoT, automação, machine learning e cloud computing, por exemplo. Seus recursos estão sendo usados por organizações e governos nas mais diversas formas de gestão e solução de problemas.

Acontece que algo que esteja atuando de modo tão direto e intenso em tantos campos, com acesso a uma quantidade gigantesca de informações e com “autonomia” para elaborar respostas, tomar decisões, apresentar dados, propor ações, predizer cenários e reorganizar estruturas, precisa ter assegurado um grau elevado de confiabilidade e segurança.

Na prática, isso diz respeito aos riscos de respostas incorretas ou tendenciosas, vieses discriminatórios ou preconceituosos, vazamento de dados, criação de códigos inseguros, acesso e divulgação de informações privadas, uso indevido de propriedade intelectual, entre outros. Alguns desses riscos conflitam frontalmente com questões de compliance e transparência, outros com medidas de cibersegurança, ou ainda com valores éticos.

Esta realidade leva à necessidade das organizações de investirem não apenas em soluções de inteligência artificial, mas também em metodologias que assegurem seu uso dentro de padrões de confiança. E isso não apenas para benefício interno, mas também externo, já que o mercado passará a valorizar esta postura das empresas da mesma forma como hoje valoriza o comprometimento com os temas ligados a ESG.

Assim, chegamos ao que hoje já é conhecido como AI TRiSM (Artificial Intelligence Trust, Risk and Security Management), que é a gestão da confiabilidade, dos riscos e da segurança das soluções de inteligência artificial. Sua aplicação se baseia em alguns princípios:

•  Transparência: mecanismos que facilitem o entendimento de respostas ou ações tomadas pela IA por meio da rastreabilidade de dados utilizados;
•  ModelOps: gestão do ciclo de vida de modelos de IA, da implantação às atualizações, passando pelo monitoramento constante para otimização dos recursos;
•  Resistência a ataques: mecanismos para proteger a IA de tentativas de manipulação de dados ou inserção de informações que gerem resultados incorretos ou enviesados;
•  Detecção de anomalia nos dados: recursos para detectar desvios de padrões e dados que possam comprometer a qualidade dos resultados;
•  Proteção de dados: controles de segurança, travas contra uso de dados privados ou sem consentimento.

Estes são exemplos básicos de um processo que envolve muitas etapas e diferentes abordagens que vão depender de cada cenário de aplicação da IA.

Fazer a gestão de risco no uso desta ferramenta, que vem se tornando cada vez mais indispensável, é importante para garantir a qualidade de sua performance e impedir que existam falhas no seu treinamento e nas informações que usa e gera. Mas, sobretudo, para que a própria IA não acabe por criar vulnerabilidades para a organização.

Esta é uma demanda que estará também vinculada ao compliance e até mesmo aos temas de ESG. Por isso, o comprometimento com as melhores práticas será uma parte relevante na gestão da reputação da empresa.