Ein Embedding (Vektor-Einbettung) ist die Darstellung von Text, Bildern oder anderen Inhalten als Zahlenreihe (Vektor), die deren Bedeutung erfasst. Inhaltlich ähnliche Elemente erhalten ähnliche Vektoren und liegen im mathematischen Raum nah beieinander. Embeddings sind die Grundlage semantischer Suche, von Empfehlungssystemen und von Verfahren wie Retrieval Augmented Generation.
Wie funktioniert ein Embedding?
Ein spezialisiertes KI-Modell wandelt einen Text in eine lange Zahlenreihe um, oft mit hunderten oder tausenden Werten. Diese Zahlen kodieren die Bedeutung des Inhalts, nicht seine reine Buchstabenfolge. Die Sätze „Anwalt für Arbeitsrecht“ und „Rechtsbeistand bei Kündigung“ liegen deshalb nah beieinander, obwohl sie kaum gemeinsame Wörter haben.
Die Ähnlichkeit zweier Embeddings lässt sich mathematisch berechnen, etwa über den Abstand oder den Winkel zwischen den Vektoren. So kann ein System zu einer Suchanfrage die inhaltlich passendsten Dokumente finden, auch wenn die exakten Suchbegriffe dort nicht vorkommen.
Warum sind Embeddings wichtig?
Klassische Suche findet nur exakte Wörter. Embeddings ermöglichen semantische Suche, die nach Bedeutung sucht. Das verbessert Wissensdatenbanken, FAQ-Systeme und die interne Suche auf Websites, weil Nutzer auch mit ungewohnten Formulierungen die richtigen Inhalte finden. Auch die Wahl des Embedding-Modells beeinflusst das Ergebnis stark, da unterschiedliche Modelle Bedeutung verschieden erfassen und je nach Sprache und Fachgebiet unterschiedlich gut abschneiden.
Für KI-Anwendungen sind Embeddings unverzichtbar: Bei Retrieval Augmented Generation werden Firmendokumente als Embeddings gespeichert, damit ein Sprachmodell zur jeweiligen Frage die passenden Textstellen abrufen kann. Auch Empfehlungssysteme, Themen-Clustering und Dublettenerkennung basieren auf diesem Prinzip.
Embeddings in der Praxis
In der Praxis werden Inhalte einmalig in Embeddings umgerechnet und in einer Vektordatenbank abgelegt. Bei jeder Anfrage wird die Frage ebenfalls in ein Embedding umgewandelt und mit den gespeicherten verglichen. Dieser Vergleich ist schnell und skaliert auch auf große Bestände.
Eine Kanzlei kann so ihre Schriftsätze, Mandanteninformationen oder ein internes Wiki durchsuchbar machen, ohne auf exakte Stichwörter angewiesen zu sein. Die Qualität hängt vom eingesetzten Embedding-Modell und einer sinnvollen Zerlegung der Dokumente in Abschnitte ab.
Die Qualität hängt zudem davon ab, wie fein Dokumente zerlegt werden: Zu große Abschnitte verwässern die Bedeutung, zu kleine reißen den Zusammenhang auseinander. In der Praxis lohnt es sich, verschiedene Abschnittsgrößen zu testen und die Ergebnisse an echten Suchanfragen zu bewerten, bevor ein System produktiv geht.