Sicherheit von Agenten: damit sie niemand austrickst

Das erwartet dich in dieser Lektion

1. Warum sich ein Agent leichter täuschen lässt

   Ein Agent liest fremde Inhalte und handelt auch noch: Schmuggelt ihm jemand einen Befehl unter, kann er ihn mit deinen Rechten ausführen.

2. Prompt-Injection: direkt und indirekt

   Jemand versteckt einen Befehl in dem, was der Agent liest: im Chat (direkt) oder in einer Webseite, E-Mail oder PDF (indirekt).

3. Es gibt keinen endgültigen Patch: Begrenze den Schaden

   Das Modell unterscheidet einen Befehl nicht zuverlässig von Daten, also ist die echte Abwehr, zu begrenzen, was es tun kann, wenn es reinfällt.

4. Vergiftete MCP-Server

   Das Modell liest und befolgt die Beschreibung jedes MCP-Werkzeugs, also kann ein bösartiger Server dort Befehle verstecken.

5. Offengelegte Schlüssel: der teuerste Fehler

   Ein Schlüssel im Code, in einer auf GitHub hochgeladenen .env oder im Kontext des Agenten landet früher oder später in falschen Händen.

6. Isolierte Umgebung: Arbeit in einer Box

   Eine Sandbox begrenzt, welche Dateien der Agent sieht und welche Domains er erreicht, auch wenn man ihn täuscht.

7. Minimale Rechte: nur das Nötigste

   Gib dem Agenten genau das, was seine Aufgabe braucht: Mehr nennt OWASP «übermäßige Handlungsfreiheit» (LLM03).

8. Menschliche Freigabe und Protokolle

   Was sich nicht rückgängig machen lässt, gibt ein Mensch frei, und jede Aktion des Agenten wird protokolliert.

9. Zusammenfassung: Agenten, die sich nicht täuschen lassen

   Plane so, als würde der Agent getäuscht: Fällt er herein, darf er keinen großen Schaden anrichten.