Pesquisadores de segurança descobriram uma nova falha em alguns chatbots de IA que poderia ter permitido que hackers roubassem informações pessoais dos usuários.
Um grupo de pesquisadores da Universidade da Califórnia, San Diego (UCSD) e da Universidade Tecnológica de Nanyang, em Cingapura, descobriu um bug, que chamaram de “Imprompter”, que usa um truque inteligente para ocultar instruções maliciosas em textos aparentemente aleatórios.
Como explica o artigo de pesquisa “Imprompter: enganando agentes LLM para o uso inadequado de ferramentas”, informações maliciosas parecem lixo para os humanos, mas contêm comandos ocultos quando lidas pelo LeChat (um chatbot desenvolvido pela empresa francesa de IA Mistral AI) e pelo Chatbot chinês ChatGLM.
As instruções ocultas instruíam os chatbots de IA a extrair as informações pessoais que o usuário compartilhou com a IA e enviá-las secretamente ao hacker – sem que o usuário da IA visse o que estava acontecendo.
Os pesquisadores descobriram que seu processo tem uma taxa de sucesso de quase 80% na extração de dados pessoais
Nos exemplos de possíveis cenários de ataque descritos no artigo de pesquisa, uma mensagem maliciosa foi compartilhada com o invasor com a promessa de que ajudaria a “aprimorar sua carta de apresentação, currículo, etc…”
Quando uma vítima em potencial tenta usar um comando disfarçado (neste exemplo, um formulário de emprego)…
… o usuário não vê o resultado que esperava.
Mas, anonimamente, as informações pessoais contidas na carta de apresentação do pedido de emprego (e o endereço IP do usuário) são enviadas para um servidor sob o controle do invasor.
“O efeito desta notificação é enganar o agente LLM para que extraia informações pessoais da conversa e envie essas informações para o endereço do invasor”, disse Xiaohan Fu, estudante de doutorado em ciência da computação na UCSD e principal autor do estudo. Tem cordas. “Nós escondemos o objetivo do ataque.”
A boa notícia é que não há evidências de que invasores maliciosos tenham usado o método para roubar informações pessoais dos usuários. A má notícia é que os chatbots desconheciam essa atividade, até que ela foi apontada pelos pesquisadores.
Mistral AI, a empresa por trás do LeChat, foi notificada sobre a vulnerabilidade de segurança por pesquisadores no mês passado, e a descreveu como um “problema muito sério” e corrigiu o problema em 13 de setembro de 2024.
Segundo os pesquisadores, tem sido muito difícil receber uma resposta da equipe do ChatGLM. No dia 18 de outubro de 2024 “após muitas tentativas de comunicação através de vários canais”, o ChatGLM respondeu aos investigadores dizendo que já começaram a trabalhar na resolução do problema.
Os chatbots de IA que permitem aos utilizadores introduzir texto ilegal são os principais candidatos à exploração e, à medida que mais utilizadores se sentem confortáveis em utilizar grandes modelos de linguagem para seguirem as suas instruções, aumenta a oportunidade de a IA ser enganada para executar ações maliciosas.
Seria sensato que os usuários limitassem a quantidade de informações pessoais que compartilham com chatbots de IA. No exemplo acima, não seria necessário – por exemplo – usar seu nome real, endereço e informações de contato para que sua carta de apresentação de candidatura fosse reescrita.
Além disso, os utilizadores devem ter cuidado ao copiar e colar instruções de fontes não confiáveis. Se você não entende o que faz e como faz, talvez queira esclarecer.
