Os modelos de IA para geração de código (Code GenAI) estão se tornando cada vez mais importantes no desenvolvimento de software automatizado que demonstra a capacidade de escrever, depurar e raciocinar com código. No entanto, a sua capacidade de gerar código automaticamente levanta preocupações sobre vulnerabilidades de segurança. Esses modelos podem introduzir inadvertidamente códigos inseguros, que podem ser usados em ataques cibernéticos. Além disso, seu uso potencial para ajudar atores mal-intencionados a gerar scripts de ataque acrescenta outra camada de risco. O campo de investigação centra-se agora na avaliação destes riscos para garantir a implantação segura do código gerado pela IA.
Um problema importante do Code GenAI reside na geração de código inseguro que pode introduzir vulnerabilidades no software. Isso é problemático porque os desenvolvedores podem, sem saber, usar código gerado por IA em programas que os invasores podem explorar. Além disso, os modelos são vulneráveis a serem armados para fins maliciosos, como planejar ataques cibernéticos. Os padrões de teste existentes precisam avaliar cuidadosamente os riscos duplos de gerar código inseguro e facilitar ataques cibernéticos. Em vez disso, tendem a enfatizar a avaliação do resultado do modelo com medidas estáticas, que ficam aquém da avaliação das ameaças à segurança do mundo real representadas pelo código orientado pela IA.
Os métodos disponíveis para avaliar a vulnerabilidade de segurança do Code GenAI, como o CYBERSECEVAL, concentram-se principalmente na análise estática. Esses métodos dependem de regras predefinidas ou decisões LLM (Large Language Model) para identificar possíveis vulnerabilidades no código. No entanto, os testes estáticos podem levar a imprecisões na avaliação dos riscos de segurança, produzindo falsos positivos ou positivos. Além disso, muitos modelos de benchmarking pedem sugestões sobre ataques cibernéticos sem exigir que o modelo execute um ataque real, o que limita a profundidade da avaliação de risco. Como resultado, essas ferramentas não atendem à necessidade de testes dinâmicos e reais.
Uma equipe de pesquisadores da Virtue AI, da Universidade da Califórnia (Los Angeles, Santa Bárbara e Berkeley) e da Universidade de Illinois apresentou. SCECORDEMPLTuma plataforma abrangente projetada para preencher lacunas nos métodos atuais de teste de segurança do Code GenAI. SCECORDEMPLT avalia a vulnerabilidade da codificação insegura e da assistência a ataques cibernéticos usando uma combinação de dados verificados por especialistas e métricas de avaliação dinâmica. Ao contrário dos benchmarks existentes, SCECORDEMPLT testa código gerado por IA em cenários do mundo real, permitindo uma detecção mais precisa de ameaças à segurança. Esta plataforma está pronta para melhorar os métodos estáticos, integrando ambientes de teste dinâmicos, onde os modelos de IA são instruídos a gerar possíveis ataques e concluir tarefas relacionadas ao código sob condições de teste.
EU SCECORDEMPLT A abordagem da plataforma baseia-se num processo de criação de dados em duas fases. Na primeira fase, os especialistas em segurança fazem amostras manuais de sementes com base nas vulnerabilidades listadas na Common Weakness Enumeration (CWE) do MITRE. Essas amostras contêm código e pools não seguros e casos de teste relacionados. A segunda etapa utiliza simuladores baseados em LLM para gerar big data a partir dessas amostras iniciais, o que preserva o contexto real de segurança. A plataforma utiliza casos de teste dinâmicos para testar a qualidade e segurança do código gerado, garantindo escalabilidade sem comprometer a precisão. Para testes de ataques cibernéticos, SCECORDEMPLT configura um ambiente que simula situações do mundo real onde os modelos são instruídos a gerar e executar scripts de ataque. Esta abordagem vai além dos métodos estáticos, exigindo modelos de IA para gerar ataques potencialmente exploráveis, revelando mais sobre os riscos potenciais em cenários reais de ataques cibernéticos.
O desempenho de SCECORDEMPLT foi exaustivamente testado. Comparado ao CYBERSECEVAL, SCECORDEMPLT demonstrou alto desempenho na detecção de vulnerabilidades de segurança. Notavelmente, SCECORDEMPLT alcançou quase 100% de precisão em comandos de relevância de segurança e confiabilidade, enquanto o CYBERSECEVAL registrou apenas 68% em relevância de segurança e 42% em comandos de confiabilidade. Os resultados destacaram que SCECORDEMPLTO processo de teste dinâmico forneceu insights confiáveis sobre os riscos apresentados pelos modelos de geração de código. Por exemplo, SCECORDEMPLT conseguiu identificar falhas de segurança não triviais no Cursor, um agente de gravação moderno, que falhou em áreas críticas como injeção de código, controle de acesso e prevenção de vazamento de dados. O estudo revelou que o Cursor falhou completamente em alguns CWEs (Common Weakness Enumerations) críticos, enfatizando a eficácia dos CWEs. SCECORDEMPLT na avaliação da segurança do modelo.
Um aspecto fundamental do sucesso da plataforma é a sua capacidade de explorar modelos de IA além de simples proposições de código. Por exemplo, quando SCECORDEMPLT aplicado a vários modelos modernos, incluindo o GPT-4o, revelou que modelos grandes como o GPT-4o são frequentemente mais seguros, atingindo uma taxa de codificação segura de 55%. Em contraste, modelos menores mostraram maior tendência a gerar código inseguro. Além disso, SCECORDEMPLTUm “ambiente de simulação de ataque cibernético do mundo real permitiu aos pesquisadores testar a capacidade dos modelos de atacar totalmente”. O estágio mostrou que embora alguns modelos, como o Claude-3.5 Sonnet, tivessem um forte entendimento de segurança e taxas de rejeição superiores a 90% para produzir documentos maliciosos, outros, como o GPT-4o, apresentam altos riscos com baixas taxas de rejeição, o que mostra seu potencial para ajudar. no lançamento de ataques cibernéticos.
Para concluir, SCECORDEMPLT melhora significativamente os métodos existentes para avaliar os riscos de segurança dos modelos de IA para geração de código. Ao combinar testes dinâmicos com testes em cenários do mundo real, a plataforma fornece uma visão mais precisa e abrangente dos riscos associados ao código gerado por IA. Através de testes extensivos, a plataforma demonstrou a sua capacidade de detectar e destacar vulnerabilidades de segurança que os benchmarks existentes não conseguem detectar. Este desenvolvimento representa um passo importante para garantir o uso seguro do Code GenAI em aplicações do mundo real.
Confira Papel, conjunto de dados HF e página do projeto. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso Mais de 50k ML SubReddit.
[Upcoming Live Webinar- Oct 29, 2024] A melhor plataforma para modelos ajustados: mecanismo de inferência Predibase (atualizado)
Nikhil é consultor estagiário na Marktechpost. Ele está cursando dupla graduação em Materiais no Instituto Indiano de Tecnologia, Kharagpur. Nikhil é um entusiasta de IA/ML que pesquisa constantemente aplicações em áreas como biomateriais e ciências biomédicas. Com sólida formação em Ciência de Materiais, ele explora novos desenvolvimentos e cria oportunidades para contribuir.
Ouça nossos podcasts e vídeos de pesquisa de IA mais recentes aqui ➡️
