O sistema de IA do agente Redlining é diferente dos sistemas tradicionais. A IA do agente e os sistemas tradicionais de IA não são determinísticos e os scripts precisarão ser executados várias vezes. Cada vez que o script for executado, a saída será diferente. Você precisa prestar atenção a essas variáveis ao avaliar cada situação. Você também deve lembrar que pela forma como o agente trabalha, o próprio LLM, a diversidade de informações e o comportamento do agente levarão a mais diversidade. Você também descobrirá que fazer a mesma tarefa na mesma situação responderá de maneira diferente e precisará fazer mais testes e situações de teste para cobrir possíveis pontos cegos. Faça com que suas equipes de desenvolvimento mapeiem todas as regras e oportunidades para fluir no processo.
Como acontece com qualquer ferramenta, você não pode e nem sempre deve fazer tudo automaticamente. Use uma ferramenta como PyRIT e testes manuais. O teste manual permitirá que os testadores verifiquem áreas problemáticas específicas e se aprofundem em quaisquer áreas encontradas pelo teste automatizado.
Certifique-se de fornecer monitoramento e registro para sua automação de testes. Isso ajudará a testar o processo de rastreamento de problemas, mas também ajudará à medida que a equipe se aprofunda nos testes manuais. Revise o processo de utilização de dados registrados para garantir clareza e legibilidade nesta fase, e não quando o problema se apresentar na produção.
Finalmentetrabalhar com outros profissionais de segurança cibernética para comparar e contrastar medidas e procedimentos. Continue a construir sua estrutura de governança e adicione e melhore constantemente seus processos.
O futuro do agente AI: é promissor… e cheio de possibilidades
A ampla gama de benefícios, capacidades e eficiências que pode oferecer a uma empresa torna este o momento perfeito para explorar esta tecnologia. No entanto, os riscos associados às ameaças à segurança não podem ser ignorados. Devemos garantir a expansão da cultura empresarial para que a segurança seja responsabilidade de todos. É responsabilidade das equipes documentar todas as interações, monitorar o sistema e garantir que o controle humano esteja em vigor. As ferramentas devem ser integradas nos processos de ponta a ponta, para identificar problemas antes que destruam a confiança do usuário e do negócio. A transparência, a supervisão humana e a segurança da IA devem estar sempre presentes.
As equipas de segurança precisam delinear controlos e governação, medidas e regras de segurança. As equipas de desenvolvimento precisam de se educar, não só sobre estas regras e requisitos, mas também sobre os riscos que enfrentarão e as mitigações que precisam de implementar.
Stephen Kaufman trabalha como mestre arquiteto Unidade de Sucesso do Cliente Microsoft Um escritório de CTO focado em IA e computação em nuvem. Ele traz mais de 30 anos de experiência para alguns dos maiores clientes empresariais, ajudando-os a compreender e implementar IA desde ideias iniciais até design, design, desenvolvimento e entrega de aplicativos específicos.
Este artigo foi possível graças à nossa parceria com a IASA Fórum do Arquiteto Chefe. A missão do CAF é explorar, desafiar e apoiar a arte e a ciência da Arquitetura Tecnológica Empresarial e sua evolução ao longo do tempo e aumentar a influência e liderança de grandes arquitetos dentro e fora da profissão. CAF é a principal comunidade de IASAa principal organização profissional sem fins lucrativos para designers de tecnologia empresarial.
