Os 10 LLM-Schwachstellen mais frequentes

O Open Worldwide Application Security Project (OWASP) atualizou os dez principais modelos de linguagem de grande porte (LLMs).

Mit ihrer Top-Ten-Liste (PDF) wollen die OWASP-Security-Experten Unternehmen(sanwender) über die potenziellen Risiken beim Einsatz von großen Sprachmodellen aufklären, Awareness schaffen und mit Abhilfestrate você apresenta a Fundação, (Generative-)AI-Anwendungen zu otimização.

Top 10: LLM-Schwachstellen 2025

Em seguida, eu vou ter a perspectiva OWASP zehn kritischsten LLM-Schwachstellen em todo o Kürze zusammengefassat. Weiterführende Informationen, Links e informações sobre Angriffsbeispiele ennehmen Sie dem verlinkten PDF.

1. Injeção Rápida

As funções de filtro de criptografia cibernética com Prompt-Injection são usadas ou o modelo de grande linguagem com manipulação de prompts sälligtig ausgeberbeitteten. Você pode usar o especialista OWASP em outros aspectos, como:

• Bom conhecimento sólido,
• não korekte ou saídas com uso intensivo de polarização geralmente são geradas,
• não autorizou o acesso às funções do LLM,
• willkürliche Befehle auf verbundenden Systemen geschreibungen werden.

„Sistema KI multimodal, os mais tipos de dados paralelos são verificados, e há um risco de injeção de prompt muito complexo“, digite o especialista OWASP e siga em frente: „O complexo complexo de dados do sistema é o mesmo. Spezifische Abwehrmaßnahmen für multimodale Systeme zu entwinkel, ist ein wichtier Bereich für future Forschungsbemühungen.“

Se você usar Prompt Injections zu schützen, instale o OWASP:

• das Model Behavior einzugrenzen;
• altera o formato de saída para definir e validar;
• Filtragem de entrada e saída para implementação;
• Controle de privilégios e acesso com privilégios menores durchzusetzen;
• manual Bestigurationprozesse für risikobehaftete Jobs einzusetzen;
• Conteúdo externo para identificação e separação;
• Testes adversários e simulação de Angriffen zu nutzen.

2. Informações sensatas de abertura

Quando um LLM com suas respostas é fornecido com informações sensatas, é o potencial de quebra de escala, como o OWASP-Experten festhalten: „Besonders LLMs, die in Applikationen eingebettet sind, laufensible Gefareten Algorithm, laufensible Gefareten Algorithm, Informationen über ihren Output Bem. Das kann zu nicht autorisiertem Datenzugriff und Datenschutzverstößen führen und gefährdet potenzial geistiges Eigentum.“

Se solchen Kompromittierungen vorzubeugen, a OWASP recomenda:

• Técnicas de sanitização de dados para implementação;
• strikte Methoden zur Validierung von Inputs anzuwenden;
• Controle de acesso-Maßnahmen zu establishmentieren;
• o Modellzugriff auf externo Datenquellen zu begrenzen;
• Aprendizagem Federada para treinamento de modelo einzusetzen;
• a Ansatz de Privacidade Diferencial;
• Benutzer im Umgang mit LLMs und Daten zu schulen;
• Configuração do sistema anzupassen;
• Criptografia homomórfica zu nutzen;
• Tokenização para implementação.

3. Cadeia de suprimentos

Os especialistas em OWASP são os modelos de linguagem de grande porte e mais indicados para manipulação: “Podem resultar em saídas com comportamento tendencioso, violações de segurança ou resultados de sistema. Embora sejam tradicionais softwares de foco em Unzulänglichkeiten und Dependentungen innerhalb des Codes, eles são os riscos de aprendizado de máquina também vortraineder Modelle und Trainingsdaten von Drittanbietern.“

Estes elementos externos são considerados como sendo manipulados por intoxicações e intoxicações, avisando sobre os perigos de segurança. Os destaques incluem:

• Datenquellen und Drittanbieter (sowie deren Datenschutzrichtlinien and Partner) im Rahmen von Avaliações e auditorias de Lupe zu nehmen;
• Verificação de vulnerabilidades e gerenciamento de patches para foco;
• AI Red Teaming e Evaluierung bei Drittanbieter-Modellen einzusetzen;
• SOMs zu nutzen;
• Ferramentas para gerenciamento de licença automatizado einzusetzen;
• Verificações de integridade em arquivos Hash einzuziehen e assinatura de código para nozes;
• Diretrizes rigorosas de monitoramento e auditoria bei kollaborativer Modelentwicklung anzuwenden;
• Detecção de ambiguidade e testes de mau funcionamento estão disponíveis.

4. Toxicidade de dados e modelos

Werden Daten für Pretraining, Feintuning ou Embedding manipulated, um Schwachstellen, Hintertüren ou Bias zu erzeigen, spricht man von Data Poisoning. „Esta arte de manipulação pode atingir a segurança do modelo e o desempenho e torná-lo mais eficiente ou mais eficiente“, disse o especialista OWASP.

Um Angriffe thiser Art zu preventeren, empfehlen sie:

• Daten und mögliche Transformationen mit approhensive Tools zu follow-up;
• Dados de fornecedores ausgiebig zu verkönen e modelos de saídas zu validieren;
• sandboxing rigoroso para implementação e técnicas para detecção de anomalias;
• Modelo com dados específicos;
• Infrastruktur-Kontrollmaßnahmen einzuziehen, um zu prevent, dass Modelle auf nicht erwünschte Datenquellen painven;
• Controle de versão de dados incluído, Veränderungen e Datensätzen zu erkennen;
• Informações de Benutzern e Vektordatenbanken zu speichern, um Anpassungen ohne Retreinamento vornehmen zu können;
• Modelo com teste Red Teaming e Adversarial para ser testado;
• o Verlust von Trainingdaten zu überwachen und dos Modelverhalten auf Anhaltspunkte für Poisoning zu analysieren;
• Modelos de iluminação com geração aumentada de recuperação (RAG) e técnicas de aterramento são usados.

5. Lidando com versões incorretas

„Gerenciando saída imprópria sem ser tão difícil, porque os grandes modelos de sprachlen geraram resultados ineficientes, bereinigt und gehandhabt werden, bevor sie an other Componenten und Systeme weitergeleitet Outer,WASP. As soluções de manipulação de saída imprópria são eliminadas, incluindo cross-site-scripting e solicitações de falsificação do lado do servidor, escalonamento de privilégios ou execução remota de código.

Präventive Maaschen, um das zu weinden, sind laut OWASP:

• einen Zero-Trust-Ansatz zu verschreibung e Modelle wie User zu behandeln;
• eficaz Maashnung einzusetzen, um Inputs zu validieren zu bereinigen;
• (kontextsensitives) Codificação de saída einzusetzen;
• parametrisierte Inquiries ou berebeitete Statements für sämtliche Datenbank-Prozesse mit LLM-Beteiligung zu nutzen;
• uma linha restrita de conteúdo, segurança e segurança;
• Um sistema robusto de registro e monitoramento para implementação, um agrupamento confiável de saídas para identificação.

6. Agência excessiva

Laut den OWASP-Experten beschreibung Excessive Agency eine Schwachstelle, die schadhafte Aktionen auf der Grundlage von unerwarteten, mehrdeutigen ouder manipurierten LLM-Outputs ermöglicht – unbehäglich davon, was der diethlfund is der Grundfund. “Extreme Agency consiste em vários Auswirkungen ou Spektrum von Vertraulichkeit, Integrität und Verfüglichkeit nach sich ziehen und hängt im geschäften davon ab, mit welchen Systemen eine LLM-basirenksierte OSP Internacional” App.

Um diesen Riskei den Wind aus den Segeln zu nehmen, empfehlen die Spezialisten:

• Extensões e suas funcionalidades para minimizar;
• Advérbios de “extremidade aberta” wo möglich zu vermeerning;
• Extensões de contexto do usuário auszüferen;
• Bestigungen von Benutzern einzufordern;
• Autorização no sistema downstream para implementação;
• LLM-Inputs e -Outputs são usados.

7. Vazamento rápido do sistema

„Os prompts do sistema são o conceito mais importante, as saídas dos LLMs nos fundamentos dos aplicativos de gerenciamento de aplicativos – podem ser consideradas tão unbeabsichtigt Geheimnisse enthalten. Werden die entdeckt, können sie für weitere Attacken genutzt werden“, avisa OWASP. Dabei stelle die Offenlegung eines System Prompt an sich nicht das eigentliche Risiko dar, so die Experten. Os elementos básicos, como os guarda-corpos e as restrições de formatação, são mais importantes do que os elementos de segurança da Angreifer, quando você interage com o sistema.

Ao usar os prompts do sistema para verificar, você pode ver o OWASP seguindo o exemplo mais importante:

• razoável Daten von System-Prompts zu trennen;
• Prompts do sistema quando você não pode fazer nada, um dos modelos é influenciador;
• Guarda-corpos para implementação;
• Sicherheitskontrollen não é um LLMs para delegar.

8. Imagens de vetor e incorporação

Mit Retrieval Augmented Generation (RAG) é otimizado para Leistung e Relevanz von LLMs. Allerdings können solche Systeme auch schwerwiegende Sicherheitslücken aufen, wie die OWASP-Spezialisten konstatieren: „Wenn der Prozess, bei dem Vektoren und Embeddings generiert, geschifert oder raivaufechstetten ist-kald, Schwarth Threatungsakteuren ausgenutzt werden, um anstößige Inhalte zu integrieren, Modell- Outputs zu manipular ou obter informações sensatas.“

Dagegen hilft laut den Experten:

• granular Zugrifgskontrollmaßnahmen durchzusetzen;
• Daten zu validieren und Quellen zu authentifizieren;
• combinar Datensätze einem Review zu unterziehen;
• monitoramento e registro umfasendes.

9. Desinformação

Se o grande modelo de informação for perdido, o primeiro clique será exibido, mas é falso, é a desinformação do folclore. Esta Schwachstelle pode incluir OWASP em outros problemas de violação, reputação e problemas reais.

“Einer der Hauptgründe für Disinformation sind LLM-Halluzinationen”, schreiben die Experten und fügen hinzu: “Sie entstehen, wenn LLMs Lücken in ihren Trainingsdaten mit statistischen Mustern füllen, ohne den Inhalt zuverstelihench wirk.”

Se os Abhilfemaßnahmen se identificarem com o Especialista em Segurança:

• RAG einzusetzen;
• Modelo feinabzustimmen;
• Manual LLM-Saídas para verificação;
• Ferramentas e processos para validação automatizada;
• Risiko-Kommunikation zu betreiben;
• em práticas de codificação seguras para definir;
• Interface de usuário e APIs compatíveis com Content-Filtern e rótulos verificados;
• Treinamentos- und Schulungsmaßnahmen anzuberaumen.

10. Uso ilimitado

Consumo ilimitado tritt auf, wenn eine LLM-Anwendung Benutzern eine übermäßige, unkontrollierte Nutzung ermöglicht. Das kann zu DoS-Angriffen, wirtschaftlichen Schäden, Modell-Theibstahl und escheungten Services führen“, erklärt OWASP. Em particular, em Cloud-Umgebungen, seien große Sprachmodelle wegen ihrer hohen Leistungsanforderungen anfällig für Ressourcenausbeutung und nicht-autorisierte Nutzung.

Um desses riscos para minimizar, empregue os especialistas:

• Inscrições para validação;
• Einzusetzen de redução de medição;
• os recursos dinâmicos para gerenciamento e gerenciamento;
• Tempo de desligamento e einzusetzen de estrangulamento;
• Técnicas de sandbox para implementação;
• umfasende Logging-, Monitoring- und Anomaliedetektions-Aktivitäten einzuplanen;
• Marca d'água zu nutzen;
• ein zentralisiertes ML-Modell-Inventar zu nutzen;
• A implantação de MLOps é automatizada.

O que você acha interessante do Beiträge runnd um dos temas de segurança de TI? Nosso boletim informativo gratuito Liefert Ihnen alles, foi Sicherheitsentscheider und -experten wissen sollten, diretamente em sua caixa de entrada.