Das Problem: Chat und Agent werden in einen Topf geworfen
Chatbot. KI-Agent. Conversational AI. Tool Use. Multi-Agent. Wenn du dich gerade mit KI-Einführung beschäftigst, hörst du diese Begriffe ständig durcheinander. Im Marketing klingt das alles nach einer Sache. In der Praxis sind das zwei komplett verschiedene Dinge mit anderem Verhalten, anderen Risiken und anderen Einsatzgebieten.
Wenn du das nicht trennscharf hast, kaufst du am Ende ein System, das dir Antworten gibt, obwohl du Aktionen wolltest. Oder andersherum: Du lässt einen Agenten autonom handeln, wo eigentlich nur eine Antwort gereicht hätte. Beides verbrennt Geld, beides erzeugt Frust.
Die Lösung: Chat ist Chat, Agent ist Agent
Der Unterschied lässt sich in einem Satz erklären. Ein RAG-Chat sucht im Firmenwissen, formuliert eine Antwort und ist fertig. Ein KI-Agent bekommt eine Aufgabe, plant Schritte, ruft Werkzeuge auf, prüft Ergebnisse und ist erst dann fertig, wenn das Ziel erreicht ist.
Ein Beispiel macht das klar. Die Frage „Wie läuft bei uns der Onboarding-Prozess für neue Mitarbeiter?" ist eine Chat-Frage. Du willst die Information aus dem Wiki, formuliert in normaler Sprache, mit Quellenangabe. Der Chat sucht semantisch, findet drei relevante Einträge, fasst zusammen und nennt die Quellen. Punkt.
Die Aufforderung „Lege für den neuen Kollegen Markus Bauer einen Account im CRM an, gib ihm die Standardrechte für Vertrieb und schicke ihm die Onboarding-Mail" ist ein Agent-Auftrag. Hier muss das System mehrere Schritte machen, mit echten Aktionen in echten Systemen. Account anlegen ist eine Aktion. Rechte vergeben die zweite. Mail versenden die dritte. Dazwischen muss der Agent prüfen, ob Markus Bauer schon existiert, welche Standardrechte für Vertrieb gelten und welche Onboarding-Mail-Vorlage gerade die richtige ist.
Chat heißt: lesen und antworten. Agent heißt: lesen, entscheiden, handeln, prüfen, weitermachen.
Wie das im Arbeitsalltag aussieht
Stell dir einen Vertriebsleiter vor, der vor einem wichtigen Kundentermin steht. Drei Anfragen, drei verschiedene Modi.
Erste Anfrage: „Was haben wir zuletzt mit Müller GmbH besprochen?" Das ist Chat. Das System durchsucht E-Mails, Notizen und CRM-Einträge, gibt eine kompakte Zusammenfassung. Antwort in Sekunden, mit Verlinkung auf die Originaldokumente. Der Vertriebsleiter liest, prüft, geht in den Termin.
Zweite Anfrage: „Bereite mir den Termin mit Müller GmbH vor." Das ist Agent. Das System schaut sich die Kundenhistorie an, prüft offene Angebote, geht durch die letzten Support-Tickets, sucht relevante Branchen-News, packt das Ganze in ein Briefing. Mehrere Werkzeuge, mehrere Quellen, ein fertiges Dokument am Ende.
Dritte Anfrage nach dem Termin: „Erstelle ein Angebot über zwölf Lizenzen unseres Premium-Pakets für Müller GmbH und schicke es an einkauf@mueller.de mit mir in CC." Wieder Agent, jetzt mit echten Aktionen in echten Systemen. Eine Datenbank-Operation für den Angebotsdatensatz, eine PDF-Generierung, ein E-Mail-Versand. Wenn dabei was schiefgeht, soll das System nicht halluzinieren, sondern stehen bleiben und nachfragen.
Drei Use Cases, zwei Modi. Wer das in einen einzigen „KI-Assistenten" packt, kriegt am Ende eine überforderte Wundertüte, die alles ein bisschen kann und nichts richtig.
Was sich mit klarer Trennung verändert
Der praktischste Effekt: Du baust nicht ein riesiges System, das alles können soll, sondern zwei spezialisierte Bausteine, die jeweils gut sind in dem, was sie tun. Das ist günstiger zu bauen, einfacher zu warten und sicherer im Betrieb.
Der zweite Effekt ist Risiko. Ein Chat darf sich auch mal irren, das ist verkraftbar, weil ein Mensch noch dazwischen steht und entscheidet. Ein Agent, der autonom handelt, muss enger eingehegt werden. Welche Werkzeuge darf er nutzen? Wo sind harte Stopps? Wann braucht es eine menschliche Bestätigung? Das ist eine Governance-Frage, die du nur dann sauber beantworten kannst, wenn du Chat und Agent von vornherein trennst.
Drittens kannst du den Agenten über Tool Use auch wieder zurück zum Chat biegen, wenn das in dem Moment reicht. Wenn die Frage „Wie war nochmal der Onboarding-Prozess?" an ein Agent-System geht, sollte der Agent erkennen, dass keine Aktion nötig ist, und einfach eine RAG-Suche zurückgeben. Das macht ein gut gebauter Agent automatisch.
Wie funktioniert das technisch?
Jetzt wird es etwas technischer. Wer nur den Business-Nutzen mitnehmen wollte, kann direkt zum Fazit springen.
Technisch sind beide Modi auf der gleichen Basis aufgebaut, nämlich einem LLM mit Anbindung an externe Werkzeuge. Der Unterschied liegt in der Werkzeug-Liste und im Steuerungs-Loop.
Beim RAG-Chat hat das LLM genau ein Werkzeug zur Verfügung: eine semantische Suche in der Wissensdatenbank. Der Ablauf ist linear. Frage rein, Embedding berechnen, nächste Nachbarn aus pgvector ziehen, Treffer in den Prompt-Kontext, Antwort generieren, Quellen mit zurückgeben. Ein einziger Modell-Call, fertig.
Beim Agent hat das LLM mehrere Werkzeuge, oft sechs bis zehn. Datenbankabfragen, externe API-Calls, E-Mail-Versand, PDF-Generierung, Datei-Schreiben. Der Ablauf ist iterativ. Das LLM bekommt eine Aufgabe, entscheidet, welches Werkzeug es braucht, ruft es auf, bekommt das Ergebnis zurück, entscheidet erneut. Manchmal sind das drei Schritte, manchmal zehn. Wir nutzen Claude mit Tool Use als LLM und Temporal als Workflow-Engine. Damit sind lange Aufgaben pausierbar und auditierbar. Wenn nach Schritt acht ein API-Aufruf scheitert, kannst du den Workflow stoppen, das Problem fixen und ab Schritt acht weitermachen, ohne von vorne anzufangen.
Eine wichtige Designentscheidung in der Architektur ist die Trennung von Tool-Definition und Tool-Implementierung. Die Definition (Name, Beschreibung, Parameter) liegt im Prompt-Kontext, die Implementierung (was tatsächlich passiert) liegt in eigenen Service-Klassen. Wenn ein Werkzeug verbessert wird, ändert sich die Implementierung, das Prompt bleibt gleich. Das macht das System wartbar.
Beim Thema Sicherheit läuft jeder Tool-Call durch eine Berechtigungsprüfung. Welcher Nutzer hat den Agent ausgelöst, welche Aktionen darf der Agent in dessen Namen ausführen? Ein Vertriebsmitarbeiter darf Angebote schreiben, aber keinen Onboarding-Account anlegen. Diese Prüfung sitzt im Service-Layer, nicht im Prompt, weil Prompts manipulierbar sind.
Die Infrastruktur läuft auf Hetzner Cloud in Deutschland. Kundendaten, Datenbank und Workflow-Status liegen vollständig in der EU. Für die Modell-Calls werden Inhalte verschlüsselt an Anthropic übermittelt, dort aber nicht gespeichert oder zum Training verwendet.
Fazit
Chat und Agent sind nicht zwei Geschmacksrichtungen vom gleichen Eis. Es sind zwei verschiedene Werkzeuge für zwei verschiedene Aufgaben. Wer die Unterscheidung versteht, baut zielgerichtet und schlägt sich nicht mit überfrachteten Tools herum, die alles wollen.
Die Faustregel ist einfach. Brauchst du eine Antwort aus deinem Firmenwissen, ist es Chat. Soll im echten System etwas passieren, ist es Agent. Wenn beides drinsteckt, baust du beides separat und lässt sie zusammenarbeiten. Das ist der Unterschied zwischen einer KI-Demo und einem KI-System, das im Alltag trägt.