KI-APIs im Unternehmen: Sprachmodelle direkt in eigene Prozesse einbinden

Grundform jeder LLM-API ist ein Aufruf, der eine Folge von Nachrichten oder Eingabeelementen entgegennimmt und eine Antwort liefert. Die Anbieter haben diese Grundform unterschiedlich weiterentwickelt. OpenAI empfiehlt für neue Projekte die Responses API, die eingebaute Werkzeuge, mehrstufige Abläufe und entfernte MCP-Server unterstützt; die ältere Chat Completions API bleibt nach Angaben von OpenAI weiter verfügbar. Anthropic bietet die Messages API, Google für Gemini unter anderem eine Interactions API, Mistral eine Chat- und Conversations-Schnittstelle.

Für die Planung heißt das: Die Konzepte ähneln sich stark, die Formate nicht. Feldnamen, Werkzeugdefinitionen und Antwortstrukturen unterscheiden sich je Anbieter, und auch innerhalb eines Anbieters ändern sie sich mit neuen Schnittstellengenerationen. Wer Aufrufe direkt im Fachcode verteilt, muss bei jeder Änderung an vielen Stellen nacharbeiten. Eine eigene Zwischenschicht, die Ihre Anwendung von den Anbieterformaten trennt, ist daher die wichtigste Architekturentscheidung.

Beim Function Calling – auch Tool Use genannt – übergeben Sie dem Modell eine Liste von Funktionen mit Name, Beschreibung und Parameterschema. Das Modell entscheidet, ob und mit welchen Argumenten eine Funktion aufgerufen werden soll, führt sie aber nicht selbst aus. Mistral beschreibt den Ablauf in fünf Schritten: Entwickler definieren Werkzeuge, der Nutzer fragt, das Modell erzeugt Argumente, die Anwendung führt aus, das Modell formuliert die Antwort. Google nennt zusätzlich parallele und aufeinander aufbauende Aufrufe.

Strukturierte Ausgaben binden die Antwort an ein JSON-Schema. Anthropic beschreibt zwei Varianten: JSON-Ausgaben in einem festen Format und einen strikten Modus für Werkzeugaufrufe, bei dem Namen und Eingaben schemakonform sein müssen. Möglich wird das durch eingeschränkte Dekodierung. Für Unternehmensprozesse ist das zentral, denn Daten, die in ERP, CRM oder Buchhaltung fließen, müssen maschinell verarbeitbar sein.

Wichtig bleibt die Trennung von Form und Inhalt: Ein Schema garantiert, dass ein Feld „Betrag“ eine Zahl enthält, nicht dass es die richtige Zahl ist. Fachliche Plausibilitätsprüfungen und Freigaben bleiben Aufgabe Ihrer Anwendung.

Streaming liefert die Antwort stückweise, während sie entsteht. Das verbessert die gefühlte Reaktionszeit in Assistenten und Chat-Oberflächen, bringt aber keinen Vorteil für Hintergrundprozesse. Für große Mengen ohne Zeitdruck gibt es Stapelverarbeitung. Anthropic beschreibt für seine Message Batches API, dass die meisten Stapel innerhalb einer Stunde fertig sind, nicht abgeschlossene Stapel nach 24 Stunden verfallen und Ergebnisse 29 Tage abrufbar bleiben. Batch ist laut Anbieter günstiger als Einzelaufrufe.

Embeddings sind ein eigener Aufruftyp: Ein Modell wandelt Text in einen Zahlenvektor, der seine Bedeutung abbildet. Ähnliche Inhalte liegen dabei nah beieinander. Damit lassen sich Dokumente semantisch durchsuchen, Dubletten finden oder Anfragen Kategorien zuordnen. In Wissensassistenten bilden Embeddings meist die Suchstufe, bevor ein Sprachmodell aus den gefundenen Passagen eine Antwort formuliert. Wechseln Sie das Embedding-Modell, müssen die Vektoren neu berechnet werden.

Abgerechnet wird nach Tokens, also Textbausteinen, in die ein Modell Eingabe und Ausgabe zerlegt. Eingabe- und Ausgabetokens werden meist getrennt bepreist. Kosten treiben vor allem lange Eingaben, etwa ganze Verträge oder umfangreiche Systemanweisungen, sowie mehrstufige Werkzeugschleifen, bei denen der Kontext bei jedem Schritt erneut übertragen wird. OpenAI verweist für die Responses API zudem auf eine bessere Zwischenspeicherung wiederkehrender Eingaben, die Kosten senken kann.

Rate Limits begrenzen Anfragen und Tokens pro Zeiteinheit. Anthropic ordnet Organisationen Nutzungsstufen zu, die mit der Nutzungshistorie steigen, und nutzt einen Token-Bucket-Algorithmus, bei dem sich Kapazität laufend auffüllt. Zusätzlich gibt es Ausgabenobergrenzen. Für Ihre Architektur bedeutet das: Wiederholungslogik mit Wartezeit, Warteschlangen für Lastspitzen und eine Überwachung, die Engpässe meldet, bevor ein Fachprozess stockt.

Bei der API-Nutzung gelten meist andere Bedingungen als in Endkunden-Apps. OpenAI erklärt, dass Daten aus der API seit dem 1. März 2023 nicht zum Training verwendet werden, sofern Kunden nicht ausdrücklich zustimmen. Missbrauchsprotokolle können Eingaben und Ausgaben enthalten und werden standardmäßig bis zu 30 Tage aufbewahrt; Zero Data Retention gibt es nach Prüfung. Anthropic gibt an, Eingaben und Ausgaben aus kommerziellen Produkten wie der API standardmäßig nicht für das Training zu verwenden.

Diese Herstellerangaben ersetzen keine eigene Prüfung. Klären Sie Auftragsverarbeitungsvertrag, Verarbeitungsort, Unterauftragnehmer, Aufbewahrungsfristen und den Umgang mit gespeichertem Anwendungszustand, etwa bei Schnittstellen, die Gesprächsverläufe serverseitig vorhalten. Personenbezogene oder vertrauliche Daten sollten nur in Aufrufe gelangen, für die Zweck und Rechtsgrundlage dokumentiert sind; die Bewertung im Einzelfall gehört zu Datenschutzbeauftragten und Rechtsberatung.

Ein API-Gateway bündelt den Zugriff auf Modelle an einer Stelle: Schlüssel werden zentral verwaltet, Budgets je Anwendung durchgesetzt, Aufrufe protokolliert und bei Ausfällen auf einen zweiten Anbieter umgeleitet. Ein Model Router geht weiter und wählt je Aufgabe ein passendes Modell, etwa ein kleines für Klassifizierung und ein großes für komplexe Entwürfe. Solche Funktionen gibt es als Open-Source-Komponenten, Cloud-Dienste oder Eigenentwicklung.

Ob Sie direkt per API bauen oder eine fertige Anwendung kaufen, hängt am Prozess. Standardaufgaben wie Textentwürfe oder Besprechungsnotizen löst gekaufte Software oft schneller. Die API lohnt sich, wenn KI tief in einen eigenen Ablauf eingebettet werden muss, eigene Daten und Regeln zentral sind oder Sie die Kosten je Vorgang selbst steuern wollen. Dann brauchen Sie Entwicklungskapazität, Testdaten und einen Verantwortlichen für den Betrieb.