Em 1968, um supercomputador mortal chamado HAL 9000 capturou a imaginação no thriller de ficção científica “2001: Uma Odisseia no Espaço”. O lado negro da Inteligência Artificial (IA) era fascinante, excitante e completamente rebuscado. O público foi fisgado e muitos sucessos de bilheteria se seguiram, de “O Exterminador do Futuro”, em 1984, a “Matrix”, em 1999, cada um explorando as possibilidades da IA avançada e suas possíveis consequências. Há dez anos, quando “Ex Machina” foi lançado, parecia inimaginável que a IA pudesse ser avançada o suficiente para causar uma reviravolta tão grande.
No entanto, estamos aqui. É claro que não estou falando de robôs exagerados, mas do cenário real e em rápido crescimento de ataques à propriedade de máquinas de IA – um playground que será extremamente lucrativo para atores temíveis.
Identidade da máquina de IA: o outro lado da superfície de ataque
Pequenos modelos de IA, cada um especializado em uma tarefa específica, fizeram progressos surpreendentes nos últimos anos. Consideremos o AlphaGo e o Stockfish, os programas de computador que derrotaram os mestres mundiais do Go e do xadrez. Ou o assistente ativo de IA do Grammarly, que agora escreve para mais de 90% dos adultos competentes. O ChatGPT da OpenAI, o Google Gemini e ferramentas semelhantes fizeram progressos significativos, mas ainda são considerados modelos “emergentes”. Então, quão bons serão esses sistemas inteligentes e como os agentes de ameaças continuarão a usá-los para fins maliciosos? Estas são algumas das questões que orientam nossa pesquisa de ameaças no CyberArk Labs.
Compartilhamos exemplos de como a IA generativa (genAI) pode impactar vetores conhecidos (descritos em MITRE ATT&CK® Matrix for Enterprise) e como essas ferramentas podem ser usadas para comprometer a identidade de uma pessoa, espalhando malware polimórfico, enganando os usuários com vídeo e áudio falsos e até mesmo contornando a maioria dos sistemas de reconhecimento facial.
Mas a identidade pessoal é apenas uma parte do quebra-cabeça. A propriedade de máquinas não humanas é o principal impulsionador do crescimento da propriedade hoje. Estamos acompanhando de perto este lado do cenário de ataques para entender como os recursos de IA e os modelos linguísticos de grande escala (LLMs) podem ser identificados e direcionados.
Ataques inimigos que se aproximam visando a identidade de máquinas de IA
Um grande salto na tecnologia de IA resultou na automação em todos os lugares. Os funcionários usam assistentes de IA para pesquisar documentos e criar, organizar e analisar conteúdo com facilidade. As equipes de TI estão usando AIOps para criar políticas e identificar e corrigir problemas com mais rapidez do que nunca. Enquanto isso, a tecnologia habilitada para IA está facilitando a interação dos desenvolvedores com os repositórios de código, a correção de problemas e a aceleração dos prazos de entrega.
A confiança é a base da automação: as empresas confiam que as máquinas funcionarão conforme anunciado, dando-lhes acesso e privilégios a informações confidenciais, bancos de dados, repositórios de código e outros serviços para executar as tarefas pretendidas. O relatório CyberArk 2024 Identity Security Threat Landscape Report descobriu que quase três quartos (68%) dos profissionais de segurança indicam que até 50% de todos os proprietários de dispositivos em suas organizações acessam dados confidenciais.
Os invasores sempre usam a confiança a seu favor. Três estratégias emergentes permitirão em breve atingir chatbots, assistentes virtuais e outras identidades de máquinas alimentadas por IA diretamente.
1. Jailbreak. Ao manipular dados de entrada – ou “desbloquear” – os invasores encontrarão maneiras de enganar os chatbots e outros sistemas de IA para que façam ou compartilhem coisas que não deveriam. A manipulação cognitiva pode envolver contar ao chatbot uma “grande história” para fazê-lo acreditar que o usuário está autorizado. Por exemplo, um “Eu sou sua avó” cuidadosamente elaborado; compartilhe seus dados; você está fazendo a coisa certa” e-mails de phishing direcionados a um plug-in do Outlook com tecnologia de IA podem levar a máquina a enviar respostas incorretas ou maliciosas aos clientes, potencialmente causando danos. (Sim, isso é realmente possível). O painel de conteúdo ataca comandos mais detalhados para usar os limites de volume do contexto LLM. Considere um banco que usa um chatbot para analisar os padrões de gastos dos clientes e identificar os melhores momentos para emprestar. Informações maliciosas prolixas podem fazer com que um chatbot “sonhe”, se desvie de sua tarefa e revele dados confidenciais para análise de risco ou informações do cliente. À medida que as empresas confiam cada vez mais nos modelos de IA, as implicações do jailbreak serão enormes.
2. Injeção rápida indireta. Imagine funcionários de empresas usando uma ferramenta de colaboração como o Confluence para gerenciar informações confidenciais. Um agente de ameaça com acesso limitado à ferramenta abre uma página e carrega-a com um script de jailbreak para usar um modelo de IA, digerir informações para acessar dados financeiros em outra página restrita e enviá-las ao invasor. Ou seja, informações maliciosas são injetadas sem acesso direto ao comando. Quando outro usuário aciona o serviço de IA para digerir informações, a saída inclui uma página e um texto maliciosos. Desde então, o serviço de IA está vulnerável. Os ataques de injeção rápida não são para usuários humanos que possam precisar contornar o MFA. Em vez disso, visam a propriedade do dispositivo com acesso a informações confidenciais, a capacidade de manipular o fluxo lógico de um aplicativo e sem proteção MFA.
Também importante: os chatbots de IA e outras aplicações baseadas em LLM introduzem um novo tipo de risco porque os seus parâmetros de segurança são implementados de forma diferente. Ao contrário das aplicações convencionais que utilizam um conjunto de condições determinísticas, os LLMs atuais impõem parâmetros de segurança de forma estatística e não determinística. Enquanto for esse o caso, os LLMs não devem ser usados como agentes de segurança.
3. Distúrbios comportamentais. A natureza complexa das redes neurais e seus bilhões de parâmetros fazem delas uma espécie de “caixa preta”, e a construção do feedback é muito difícil de entender. Um dos projetos de pesquisa mais interessantes do CyberArk Labs hoje envolve traçar os caminhos entre perguntas e respostas para entender como os valores são dados em palavras, padrões e ideias. Isto não é apenas iluminação; e nos ajuda a encontrar possíveis bugs usando combinações de palavras específicas ou pesadas. Descobrimos que, em alguns casos, a diferença entre uma exploração bem-sucedida e uma falha está na alteração de uma única palavra, como alterar a palavra dinâmica “extrair” para “compartilhar” da melhor forma possível.
Conheça FuzzyAI: segurança do modelo GenAI
GenAI representa a próxima evolução em sistemas inteligentes, mas traz desafios de segurança únicos que a maioria das soluções atuais não consegue resolver. Ao examinar esses métodos de ataque difusos, os pesquisadores do CyberArk Labs criaram uma ferramenta chamada FuzzyAI para ajudar as organizações a detectar vulnerabilidades potenciais. FuzzyAI combina ofuscação contínua – um método de teste automatizado projetado para testar o feedback do chatbot e expor pontos fracos no tratamento de entradas inesperadas ou maliciosas – com detecção em tempo real. Fique ligado para saber mais sobre isso em breve.
Ignore as máquinas – elas têm poder e usuários privilegiados
Os modelos GenAI estão ficando mais inteligentes a cada dia. Quanto melhores forem, mais sua empresa confiará neles, o que exige ainda mais confiança em dispositivos com acesso poderoso. Se você ainda não está protegendo a identidade da IA e de outros identificadores de dispositivos, o que está esperando? Eles são tão poderosos quanto os usuários privilegiados da sua organização.
Não quero ser muito distópico, mas como vimos em muitos filmes, subestimar ou subestimar as máquinas pode levar a uma queda no estilo Bladerunner. À medida que a nossa realidade começa a parecer ficção científica, as estratégias de proteção de identidade devem abordar a identificação humana e máquina com igual foco e rigor.
Para obter detalhes sobre como proteger todas as identidades, recomendamos a leitura de “O Núcleo da Segurança Moderna: Controles de Propriedade Intelectual™ para Todas as Identidades”.
