- Coleção de artefatos de ML
- Dados de bancos de dados
- Dados de sistemas locais
Ataque de estágio de ML
Agora que as informações foram coletadas, os malfeitores começam a planejar ataques com conhecimento dos sistemas alvo. Pode ser o treinamento de modelos proxy, o envenenamento do modelo alvo ou a criação de dados adversários para caber no modelo alvo.
As quatro estratégias identificadas incluem:
- Crie um modelo de ML representativo
- Modelo de backdoor de ML
- Confirme o ataque
- Crie dados conflitantes
Os modelos proxy ML podem ser usados para simular ataques e colocá-los off-line enquanto os invasores aprimoram suas habilidades e os resultados desejados. Eles também podem usar cópias offline de modelos alvo para garantir o sucesso do ataque sem levantar suspeitas da organização vítima.
Exfiltração
Depois de todas as etapas discutidas, os invasores chegam ao que realmente lhes interessa: a imersão. Isso inclui o roubo de artefatos de ML ou outras informações sobre o sistema de ML. Podem ser propriedade intelectual, informações financeiras, PHI ou outros dados sensíveis, dependendo da implementação do modelo e dos sistemas de BC envolvidos.
As técnicas associadas à imersão incluem:
- Exfiltração com API de inferência de ML
- Liberação por meios cibernéticos
- Metalançamento do LLM
- Vazamento de dados LLM
Tudo isso inclui a exfiltração de dados, seja por meio de uma API, métodos on-line comuns (por exemplo, exfiltração ATT&CK) ou o uso de informações para permitir que o LLM vaze dados confidenciais, como dados privados de usuários, dados organizacionais proprietários e dados de treinamento, que podem incluir entre Informação. Esta tem sido uma das principais questões relacionadas ao uso do LLM por profissionais de segurança, à medida que as organizações o adotam rapidamente.
Impacto
Ao contrário da imersão, a fase de impacto é onde os invasores causam danos ou prejuízos, o que pode causar interrupções, destruir a confiança ou destruir sistemas e dados de ML. Nesta fase, isso pode incluir adquirir um alvo (para resgate, por exemplo) ou prejudicar a integridade de forma injusta.
Esta estratégia tem seis estratégias, incluindo:
- Evitando modelos de ML
- Negação de serviço de ML
- Programas de ML de spam com dados de casca
- Remove a integridade do modelo de ML
- Economia de custos
- Lesões externas
Embora tenhamos discutido algumas estratégias como parte de outras estratégias, há exceções aqui relacionadas à influência. Por exemplo, a negação de serviço de ML refere-se ao uso de recursos ou à inundação de sistemas com solicitações para degradar ou desabilitar serviços.
Embora a maioria das ofertas modernas de IA empresarial sejam hospedadas na nuvem com computação elástica, elas ainda podem ocorrer DDoS e endpoints de recursos, bem como implicações de custo se não forem adequadamente mitigadas, impactando tanto o fornecedor quanto o consumidor.
Além disso, os invasores podem tentar destruir a integridade do modelo de ML em vez de inserir dados conflitantes que afetam a confiabilidade do modelo de ML e fazem com que o provedor ou organização do modelo corrija problemas operacionais e de sistema para resolver a integridade.
Finalmente, os atacantes podem procurar criar danos externos, tais como abusar do acesso que obtêm para afectar o sistema, os recursos e a organização da vítima de formas que envolvem danos financeiros e de reputação, impactam os utilizadores ou danos sociais mais amplos, dependendo da utilização e dos impactos. do sistema ML.
