Warum ich meinen KI-Pfad von Claude auf Mistral umgestellt habe

Warum wechselt man den KI-Anbieter mitten im Betrieb?

In meiner Plattform Flowti, die ich für Zeiterfassung, Kundenverwaltung und Projekte selbst täglich nutze und die inzwischen öffentlich verfügbar ist, lief die KI zuerst über Anthropic Claude. Technisch tadellos, für die Aufgabe stark. Und trotzdem habe ich den kompletten KI-Pfad auf Mistral umgestellt, einen europäischen Anbieter.

Der Grund ist kein technischer, sondern ein rechtlicher, und er ist für jeden relevant, der mit KI Kundendaten anfasst. Flowti verarbeitet Firmen, Kontakte, Aktivitäten, dazu Zeit- und Projektdaten. Das sind personenbezogene Daten. Solange die KI dahinter über einen US-Anbieter läuft, wandern bei jeder Anfrage Teile dieser Daten über den Atlantik. Für eine Plattform, die Datenschutz als Versprechen ausgibt, ist das ein Widerspruch, den man nicht mit einem Satz in der Datenschutzerklärung wegräumt.

Also raus aus der US-Cloud, rein in einen EU-Datenpfad. Diesen Wechsel will ich ehrlich beschreiben, weil er zeigt, worauf es beim Thema KI und DSGVO wirklich ankommt, und weil er ein gutes Beispiel dafür ist, wie sehr eine saubere Architektur solche Entscheidungen erleichtert.

Was DSGVO bei Kundendaten wirklich verlangt

Der Denkfehler, den ich am häufigsten sehe: Man glaubt, es reiche, einen Auftragsverarbeitungsvertrag mit dem KI-Anbieter zu unterschreiben, und dann sei alles gut. Das ist zu kurz gedacht.

Bei US-Anbietern bleibt die Frage, wo die Daten tatsächlich verarbeitet werden und wer nach welchem Recht darauf zugreifen darf. Für Betriebsgeheimnisse und personenbezogene Daten ist der sauberste Weg der, bei dem die Daten die EU gar nicht erst verlassen. Kein Vertrag ersetzt die Tatsache, dass ein Inhalt physisch auf einem europäischen Server verarbeitet wird und nicht auf einem amerikanischen.

Genau das leistet ein europäischer Anbieter. Die Inhalte, die zur KI müssen, bleiben im europäischen Rechtsraum. Sie werden dort verarbeitet, nicht gespeichert und nicht zum Training verwendet. Das ist der Unterschied zwischen „wir haben da einen Vertrag" und „die Daten sind gar nicht erst weg".

Was so ein Wechsel kostet, und was nicht

Ein Anbieterwechsel im laufenden Betrieb klingt nach einem großen, riskanten Projekt. Er kann eines sein. Bei mir war er es nicht, und der Unterschied liegt allein in der Architektur, die vorher da war.

Was wirklich zu tun war: Der Teil des Systems, der mit der KI spricht, musste von der einen Schnittstelle auf die andere umgestellt werden. Die Modelle wurden getauscht, das Arbeitspferd für die anspruchsvollen Aufgaben, ein günstigeres Modell für die häufige, einfache Klassifizierungsarbeit. Die Kostenlogik wurde neu hinterlegt, denn die europäischen Modelle sind pro Anfrage sogar günstiger geworden.

Was ausdrücklich nicht zu tun war: Ich musste das eigentliche Backend nicht anfassen. Keine Datenbank umbauen, keine Geschäftslogik neu schreiben, keine Oberfläche ändern. Der Wechsel war ein Eingriff an einer klar umrissenen Stelle, keine Operation am offenen Herzen des ganzen Systems.

Und ein Teil ist bewusst offen geblieben, das gehört zur Ehrlichkeit dazu. Die Spracheingabe, mit der man Flowti etwas diktieren kann, läuft aktuell noch über eine Schnittstelle, die Audio an einen US-Dienst gibt. Das ist die nächste Baustelle, die auf einen europäischen Dienst umzieht. Ich sage das so, statt zu behaupten, es sei schon alles perfekt. Ein sauberer Datenpfad ist ein Weg, kein einmaliger Schalter.

Warum die saubere Architektur den Wechsel billig machte

Der entscheidende Punkt, und der eigentliche Grund, warum ich diesen Text schreibe: Der Wechsel war nur deshalb so überschaubar, weil die KI in Flowti von Anfang an ein eigener, abgetrennter Dienst war und nicht überall im Code verstreut.

Der KI-Teil läuft als eigenständiger Service, getrennt vom Rest der Plattform. Das Backend reicht Anfragen an diesen Dienst weiter und bekommt die Antwort zurück, weiß aber nicht, welches Modell dahinter arbeitet. Diese Trennung hatte ich nicht gebaut, um irgendwann den Anbieter zu wechseln. Ich hatte sie gebaut, weil klar getrennte Bausteine grundsätzlich einfacher zu warten sind. Der billige Anbieterwechsel war die unerwartete Belohnung dafür.

Genau daran erkennst du gute von schlechter KI-Software. Wer die KI fest ins Backend verdrahtet, zahlt jeden späteren Modell- oder Anbieterwechsel doppelt, weil er sich durch das ganze System wühlen muss. Und Wechsel kommen. Die Modelllandschaft dreht sich schnell, Preise ändern sich, rechtliche Anforderungen auch. Wer heute so baut, dass ein Wechsel teuer ist, baut sich eine Falle für morgen.

Wie funktioniert das technisch?

Jetzt wird es etwas technischer. Wer die Grundidee mitgenommen hat, kann direkt zum Fazit springen.

Der KI-Dienst spricht die Modelle über eine standardisierte Schnittstelle im verbreiteten Function-Calling-Format an. Weil dieses Format quasi ein Industriestandard ist, war der Anbieterwechsel im Kern ein Austausch der angesprochenen Schnittstelle, nicht ein Neuschreiben der Logik, die die Werkzeuge des Agenten steuert.

Welches Modell für welche Aufgabe zuständig ist, steht nicht im Code fest verdrahtet. Es ist pro Rolle einstellbar. In einem Verwaltungsbereich lässt sich für den Chat-Agenten und für die Klassifizierung jeweils ein Modell wählen, und die verfügbaren Modelle zieht das System live vom Anbieter. Ein neues, besseres Modell ist damit eine Auswahl, kein Entwicklungsprojekt.

Der Schlüssel für den Anbieter liegt verschlüsselt in den Systemeinstellungen und wird pro Anfrage durchgereicht, nicht offen in einer Konfigurationsdatei. Jeder Aufruf wird protokolliert, sodass nachvollziehbar bleibt, was wann an die KI ging.

Die Infrastruktur läuft auf einem eigenen Server in Deutschland. Die Datenbank liegt in der EU, und seit der Umstellung gehen auch die KI-Aufrufe an einen europäischen Anbieter statt an einen amerikanischen. Nur die nötigen Inhalte werden verschlüsselt übermittelt, dort verarbeitet, nicht gespeichert und nicht zum Training verwendet.

Fazit

Ob KI datenschutzkonform ist, entscheidet sich nicht am Modell, sondern am Weg der Daten. Ein europäischer Anbieter hält diesen Weg innerhalb der EU, und das ist bei Kundendaten der Unterschied zwischen sauber und irgendwie geregelt.

Der Wechsel dorthin muss nicht teuer sein, wenn die KI von Anfang an ein sauber getrennter Baustein ist. Ist sie es nicht, wird jeder Wechsel zur Grabung durch das ganze System. Deshalb ist die wichtigste Entscheidung nicht, welches Modell du heute nimmst, sondern ob du dein System so baust, dass du das Modell morgen wechseln kannst, ohne alles anzufassen.

Für dich als Unternehmen heißt das: Frag bei jeder KI-Lösung nach dem Datenweg und nach der Austauschbarkeit. Wo werden meine Daten verarbeitet, und wie aufwändig wäre es, den Anbieter zu wechseln. Die Antworten sagen dir, ob du eine durchdachte Lösung vor dir hast oder eine, die dich bindet.