Inferenz (englisch Inference) bezeichnet die Anwendungsphase eines KI-Modells: den Moment, in dem ein fertig trainiertes Modell aus einer Eingabe eine Ausgabe berechnet. Während das Training das Modell einmalig aufbaut, findet Inferenz bei jeder Nutzung statt – etwa wenn ein Sprachmodell auf einen Prompt antwortet. Rechenaufwand und Kosten der Inferenz bestimmen maßgeblich, wie teuer der Betrieb einer KI-Anwendung ist.
Wie funktioniert Inferenz?
Beim Training passt ein Modell seine internen Parameter an große Datenmengen an – ein aufwendiger, oft wochenlanger Vorgang. Bei der Inferenz bleiben diese Parameter fest. Das Modell nimmt eine neue Eingabe entgegen und berechnet daraus in einem einzelnen Durchlauf die Ausgabe, etwa das nächste Wort in einer Antwort.
Training und Inferenz sind also zwei getrennte Phasen. Ein Modell wird einmal trainiert und danach millionenfach für Inferenz genutzt. Jede Anfrage an einen KI-Dienst löst einen Inferenzvorgang aus, der Rechenzeit und damit Kosten verursacht.
Warum ist Inferenz wichtig?
Die Inferenzkosten summieren sich im laufenden Betrieb, weil sie bei jeder Nutzung anfallen. Für Unternehmen, die KI in Kundenservice, Content-Erstellung oder Vertrieb einsetzen, ist die Inferenzeffizienz ein zentraler Kostenfaktor. Große Modelle liefern oft bessere Ergebnisse, sind aber pro Anfrage teurer und langsamer. Techniken wie Quantisierung oder Caching helfen zusätzlich, wiederkehrende Inferenz effizienter und günstiger zu machen, ohne die Ergebnisqualität spürbar zu beeinträchtigen.
Auch die Antwortgeschwindigkeit hängt an der Inferenz. In interaktiven Anwendungen wie Chatbots entscheidet die Latenz über die Nutzererfahrung. Deshalb werden Modelle oft komprimiert oder es kommen kleinere, spezialisierte Modelle zum Einsatz, wenn keine maximale Leistung nötig ist.
Zur Steuerung der Inferenzkosten gehört auch die Wahl der Modellgröße je Aufgabe: Einfache Aufgaben wie Klassifikation oder Kurzzusammenfassungen erledigt oft ein kleineres, günstigeres Modell ebenso zuverlässig wie ein großes. Ein durchdachter Mix spart Kosten, ohne die Qualität dort zu senken, wo sie wirklich zählt.
Inferenz in der Praxis
Bei Cloud-KI-Diensten wird Inferenz meist nach Verbrauch abgerechnet, häufig pro verarbeiteter Texteinheit (Token). Wer viele Anfragen stellt oder lange Texte verarbeitet, zahlt entsprechend mehr. Die Modellwahl ist deshalb immer auch eine Kosten-Nutzen-Abwägung.
Alternativ lassen sich Modelle lokal oder auf eigenen Servern betreiben. Dann fallen keine Kosten pro Anfrage an, dafür aber für die nötige Hardware. Für Kanzleien und Unternehmen mit Datenschutzanforderungen kann lokale Inferenz zusätzlich attraktiv sein, weil sensible Daten das eigene System nicht verlassen.