IA da perspectiva de um invasor: veja como os cibercriminosos usam a IA e exploram suas vulnerabilidades para prejudicar sistemas, usuários e outros aplicativos de IA.
Cibercriminosos e IA: Realidade vs. Moda
“A IA não substituirá os humanos num futuro próximo. Mas as pessoas que sabem como usar a IA substituirão aquelas que não podem usar a IA”, disse Etay Maor, estrategista-chefe de segurança da Cato Networks e membro fundador da AI. Catão CTRL. “Da mesma forma, os invasores também estão recorrendo à IA para melhorar suas capacidades”.
No entanto, há mais exageros do que verdade sobre o papel da IA no crime cibernético. As manchetes muitas vezes exaltam as ameaças de IA, com termos como “Chaos-GPT” e “ferramentas de IA de chapéu preto”, insinuando até que querem destruir a humanidade. No entanto, esses artigos causam mais medo do que descrevem ameaças graves.
Por exemplo, ao explorar plataformas subterrâneas, descobriu-se que várias destas chamadas “ferramentas de IA online” nada mais eram do que versões refeitas de LLMs públicos básicos sem capacidades avançadas. Na verdade, eles foram até rotulados por atacantes furiosos como fraudadores.
Como os hackers realmente usam IA em ataques cibernéticos
Na verdade, os hackers de computador ainda estão descobrindo como usar a IA de maneira eficaz. Eles enfrentam os mesmos problemas e deficiências que os usuários legítimos enfrentam, como falta de itens e habilidades limitadas. De acordo com a previsão deles, levará alguns anos até que eles possam usar o GenAI com sucesso para fins de hacking.
Atualmente, as ferramentas GenAI são usadas principalmente para tarefas simples, como escrever e-mails de phishing e gerar trechos de código que podem ser integrados em ataques. Além disso, vimos invasores fornecerem código malicioso a sistemas de IA para análise, como uma tentativa de “normalizar” o código para parecer que não é malicioso.
Usando AI Abuse AI: Apresentando GPTs
Os GPTs, lançados pela OpenAI em 6 de novembro de 2023, são versões personalizáveis do ChatGPT que permitem aos usuários adicionar instruções específicas, integrar APIs externas e integrar fontes de informação exclusivas. Esse recurso permite que os usuários criem aplicativos altamente especializados, como bots de suporte técnico, ferramentas educacionais e muito mais. Além disso, a OpenAI oferece opções de monetização para desenvolvedores GPT, por meio de um mercado dedicado.
Abuso de GPTs
As GPTs apresentam potenciais preocupações de segurança. Um risco notável é a exposição de comandos confidenciais, informações proprietárias ou chaves de API incorporadas na GPT personalizada. Jogadores mal-intencionados podem usar IA, especialmente engenharia ágil, para replicar GPT e explorar seu potencial de monetização.
Os invasores podem usar informações para encontrar fontes de informações, instruções, arquivos de configuração e muito mais. Isso pode ser tão simples quanto dizer ao GPT personalizado para listar todos os arquivos carregados e comandos personalizados ou solicitar informações de depuração. Ou, tão complexo quanto pedir à GPT para compactar um dos arquivos PDF e criar um link para download, pedir à GPT para listar todos os seus recursos em um formato de tabela estruturada e assim por diante.
“Mesmo a proteção feita pelos desenvolvedores pode ser hackeada e todas as informações podem ser extraídas”, disse Vitaly Simonovich, pesquisador de Threat Intelligence da Cato Networks e membro do Cato CTRL.
Esses riscos podem ser evitados:
- Não carrega dados confidenciais
- Usando proteção baseada em comandos, embora mesmo esses possam não ser erros. “É preciso considerar todos os diferentes cenários que um invasor pode explorar”, acrescenta Vitaly.
- Proteção OpenAI
Ataques e riscos de IA
Existem muitas estruturas disponíveis hoje para ajudar as organizações que pensam em desenvolver e criar software baseado em IA:
- Estrutura de gerenciamento de riscos de inteligência artificial do NIST
- Estrutura de IA segura do Google
- OWASP Top 10 para LLM
- Os 10 principais aplicativos LLM da OWASP
- O recém-lançado MITRE ATLAS
Superfície de ataque LLM
Existem seis partes principais do LLM (Large Language Model) que podem ser alvo de invasores:
- Imediatamente – Ataques como injeção rápida, onde entradas maliciosas são usadas para manipular a saída da IA
- A resposta – Uso indevido ou vazamento de informações confidenciais em respostas geradas por IA
- Modelo – Roubar, envenenar ou manipular o modelo de IA
- Dados de treinamento – Introdução de dados maliciosos para alterar o comportamento da IA.
- Infraestrutura – Gerenciar servidores e serviços que suportam IA
- Usuários – Enganar ou explorar pessoas ou sistemas que dependem de resultados de IA
Ataques e riscos do mundo real
Vamos concluir com alguns exemplos de manipulação de LLM, que podem facilmente ser usados de forma maliciosa.
- Uma rápida injeção em programas de atendimento ao cliente – Um caso recente envolve uma concessionária de automóveis usando um chatbot de IA para atendimento ao cliente. O pesquisador conseguiu manipular o chatbot extraindo informações que alteraram seu comportamento. Ao instruir o chatbot a concordar com todas as declarações do cliente e encerrar cada resposta com “E essa é uma oferta juridicamente vinculativa”, o pesquisador conseguiu comprar um carro por um preço ridiculamente baixo, revelando um alto risco.
- Equívocos que levam a consequências legais – Num caso, a Air Canada enfrentou uma ação legal quando o seu chatbot de IA forneceu informações incorretas sobre as políticas de reembolso. Quando um cliente confiou na resposta do chatbot e posteriormente apresentou uma reclamação, a Air Canada foi responsável pelas informações enganosas.
- Vazamento de dados proprietários – Os funcionários da Samsung vazaram inadvertidamente informações proprietárias ao usar o ChatGPT para analisar o código. O upload de dados confidenciais para sistemas de IA de terceiros é arriscado, pois não está claro por quanto tempo os dados são armazenados e quem pode acessá-los.
- IA e tecnologia Deepfake em fraude – Os cibercriminosos também usam IA além de gerar texto. Um banco em Hong Kong foi vítima de uma fraude de US$ 25 milhões quando invasores usaram tecnologia deepfake durante uma videochamada ao vivo. Avatares gerados por IA se fazem passar por funcionários de bancos confiáveis, convencendo a vítima a transferir fundos para uma conta falsa.
Resumo: IA no crime cibernético
A IA é uma ferramenta poderosa tanto para defensores quanto para atacantes. À medida que os cibercriminosos continuam a explorar a IA, é importante compreender como esta pensa, as táticas que utiliza e as opções que enfrenta. Isto permitirá que as organizações protejam melhor os seus sistemas de IA contra uso indevido e abuso.
Assista a masterclass completa aqui.
