Embeddings

Im Bereich der Künstlichen Intelligenz (KI) bezieht sich die Einbettung auf die Aufbereitung von Inhalten, von „Content" wie geschriebenen oder gesprochenen Texten, bildlichen Darstellungen (Grafiken, Bilder, Videos), Audios und anderen Objekten, in maschinenlesbare Daten. Das Besondere daran ist, dass der Sinngehalt und die bestehenden Bezüge erkannt werden und erhalten bleiben.

Definition „Embeddings"

Die folgende Definition ist nicht allgemeingültig, sondern bezieht sich nur auf den Bereich der Künstlichen Intelligenz (KI):

Embeddings sind Repräsentationen von Objektdaten mitsamt der Abbildung ihrer semantischen Bedeutung und bestehenden Beziehungen. Sie entstehen durch Transformation komplexer, diskreter Informationen in kontinuierliche Vektoren fester Länge, die in einem multidimensionalen mathematischen Raum dargestellt werden.

Vom Wort zum Vektor

Das Konzept des Embeddings besteht in der Transformation komplexer Daten in numerische Vektoren, die Computer be- und verarbeiten können.

Bei der Aufbereitung werden die Datensätze in einzelne Bausteine zerlegt, denen eine inhaltliche Bedeutung zugemessen wird. Diese Sinnträger (wie Wörter, Formen, Laute) werden dann mit mathematischen Verfahren in Zahlenkolonnen oder -listen transformiert, um sie als numerische Repräsentation dieser Einheiten in einem Vektorraum mit üblicherweise 64 bis 1024 Dimensionen (je nach Komplexität sowie Rechenleistung und Speicherkapazität auch mehr) abzubilden.

Dabei ordnet ein Interpreter oder Encoder zum Beispiel Wörtern durch Kontextvergleiche – etwa in Bezug auf die Häufigkeit des gemeinsamen Auftretens in Trainingsdaten („statistische Kontextanalyse") – bestimmte Begriffe und Attribute zu und wandelt die Wörter in Vektoren um. Die Richtung und die Länge der Vektoren geben dabei die Entfernung zu Wörtern mit ähnlicher Bedeutung und das Maß der inhaltlichen Übereinstimmung an. So ergibt sich für jede Bedeutungseinheit ein mathematisches Profil. In der Konsequenz liegen semantisch ähnliche Inhalte – beispielsweise Synonyme, Wörter mit verschiedenen Schreibweisen, Abkürzungen etc. – im Vektorraum nahe beieinander. Dies bietet die Möglichkeit, auch bei weniger konkret formulierten Anfragen oder Aufgaben bessere Ergebnisse zu erhalten als mit einer Keyword-Suche. Ebenso werden Begriffe mit identischer Schreibweise, aber unterschiedlichen Sinngehalten sauber voneinander getrennt (z. B. Bank als Sitzmöbel oder Finanzinstitut).

Vektoren als Repräsentation von Daten

Embeddings sind Vektordarstellungen von Daten. Diese Daten werden durch einen Embedder oder Encoder in numerische Vektoren und damit in die multidimensionale Form übersetzt. Hierzu werden häufig tiefe neuronale Netze eingesetzt.

Dabei sind folgende Regeln zu beachten:

• Jeder Vektor steht für einen spezifischen Datenpunkt.
• Die Distanz zwischen Vektoren zeigt, wie ähnlich die Daten sind.
• Vektoren können verändert werden, um neue Daten zu erstellen.

Komplexe Daten werden dabei vereinfacht – komprimiert – abgebildet. Da dies sowohl mit Text- als auch mit Bild oder Audiodaten funktioniert, können unterschiedliche Formate verknüpft werden. Bei einer Textanfrage können als Ergebnis somit auch Bilder und Videos angezeigt werden. Da bei der Komprimierung aber auch der Gehalt an Informationen reduziert wird, lässt sich aus einem Embedding nicht immer der genaue Input rekonstruieren.

Das Vorgehen bei der Verarbeitung lässt sich vereinfacht wie folgt darstellen:

1. Quelle vorbereiten. Das Objekt wird in Bausteine oder Abschnitte (Chunks) unterteilt, damit einzelne Elemente auffindbar bleiben.
2. Vektoren berechnen. Die KI-Software – das Embedding-Modell – transformiert jedes Element in einen Vektor individueller Länge und Richtung.
3. Speichern. Das Ergebnis wird in einem Vektor-Index oder einer Vektor-Datenbank abgelegt, inklusive Metadaten wie Herkunft/URL, Datum, Copyright etc.
4. Suchanfrage vektorisieren. Bei einer Anfrage wird diese ebenfalls vektorisiert, damit sie in vergleichbarer Form wie die Inhalte be- und verarbeitet werden kann.
5. Ähnlichkeit berechnen. Die vektorisierte Suchanfrage wird mit den in der Vektordatenbank vorhandenen Vektoren abgeglichen. Um das Maß der Übereinstimmung bzw. die „nächsten Nachbarn" („Nearest Neighbors") festzustellen, können unter anderem diese drei Prinzipien angewendet werden:
   • Kosinusähnlichkeit: Bei dieser häufigsten Berechnung der Ähnlichkeit wird der Winkel zwischen zwei Vektoren gemessen.
   • Euklidische Distanz: Als Maß der Ähnlichkeit wird der Abstand zwischen zwei Punkten im Vektorraum berechnet.
   • Skalarprodukt (Dot Product): Bei der mathematischen Bestimmung der Ähnlichkeit zweier Vektoren (z. B. Objekt und Anfrage) wird beiden eine Zahl (Skalar) zugeordnet, je nach Winkel zwischen den Vektoren und deren Länge. Diese Zahlen können dann miteinander verglichen werden.

Weit verbreitete Embedding-Systeme wie Word2Vec, GloVe, FastText oder BERT lernen die Bedeutung und Beziehungen zwischen Wörtern automatisch aus den Trainingsdaten – die entsprechend umfangreich sein müssen. In der Bildverarbeitung suchen Deep-Learning-Modelle nach eindeutigen Merkmalen und Referenzpunkten im Objekt und extrahieren deren Merkmale. Weiter vortrainierte Modelle, die direkt genutzt werden können, sind ChatGPT im Textbereich oder ResNet für die Bildverarbeitung.

Praktische Anwendungen

Typische Anwendungsfelder sind beispielsweise Ähnlichkeitssuche (semantische Suche bei Wörtern, Reverse Image Search bei Bildern), Bildanalyse, Klassifikation und Klumpenbildung (Clustering), Empfehlungen und Vorschläge (Recommendation Systems), Suchmaschinenoptimierung (Search Engine Optimization, SEO) und Retrieval Augmented Generation (RAG, Abruf-unterstütztes Erzeugen) sowie natürliche Sprachverarbeitung (Natural Language Processing, NLP) in verschiedenen Anwendungen (Übersetzung, Content Moderation, Chatbots etc.).

Selbst das sogenannte „Rechnen mit Wörtern", die semantische Arithmetik, wird möglich. Das bekannteste Beispiel stammt aus dem Jahr 2013 und wurde in einem Beitrag zu Word2Vec veröffentlicht. Es belegt, dass Embeddings nicht nur die Bedeutungen von Begriffen erfassen, sondern auch deren Beziehungen als Vektoren abbilden können.

vector(„King") – vector(„Man") + vector(„Woman") ≈ vector(„Queen")

Generelle Einschränkungen beim Embedding

Embeddings sind nur so gut wie ihre Trainingsdaten. Ihre Leistungsfähigkeit hängt stark von der Größe des beim Lernen eingesetzten Datenpools und von der Qualität der dabei genutzten Quellen ab. Fließen – unabsichtlich oder gezielt – tendenziöse, verzerrende, nicht vertrauenswürdige oder falsche Angaben und Aussagen in die Auswertung mit ein oder werden bewusst nur Datengrundlagen aus einem vorgegebenen Umfeld berücksichtigt, führt dies zu einem sogenannten „Bias" (einer Diskrepanz zwischen Realität und vermittelter Vorstellung) bei den Embeddings. Diese haben dann Stereotype gelernt und reproduzieren diese in ihren Vektorrepräsentationen. Dies kann zu unwahren Behauptungen, Unfairness gegenüber weniger repräsentierten Meinungen sowie zu einer Bevorzugung des Mainstreams und einer Benachteiligung und Diskriminierung bestimmter Bevölkerungs- oder Berufsgruppen führen.

Werden Embeddings außerhalb ihres eigentlichen Einsatzgebiets (Domain Shift, Out of Distribution) angewendet, sinkt der Nutzen bei der Anwendung erheblich. Dies ist zum Beispiel der Fall, wenn statt medizinischer Texte Wirtschaftsliteratur ausgewertet werden soll. Leistungsfähigkeit und Qualität des Embeddings sind stark eingeschränkt, wenn die Trainingsdaten den anderen Bereich nur begrenzt oder gar nicht abdecken. Eine weitere Herausforderung sind Mehrdeutigkeiten, die bei Wörtern gleicher Schreibweise, aber unterschiedlicher Bedeutung auftreten – insbesondere, wenn sie wie beim Domain Shift in stark voneinander abweichenden Kontexten benutzt werden.

Zudem benötigen Embeddings neben einer Unmenge an Trainingsdaten immense Rechenleistungen und Speicherkapazitäten (Computational und Memory-Overhead), um qualitativ hochwertige Ergebnisse in möglichst kurzer Zeit zu liefern, denn mit der Komplexität der Aufgabe steigt der Zeit- und Ressourcenbedarf für die Rechenoperationen. Entsprechend groß ist auch der Energieeinsatz und damit der Stromverbrauch, was wiederum die Belastung durch Abwärme steigert.

Fazit

Embeddings sind das technische Fundament vieler moderner KI-Anwendungen. Die Einsatzmöglichkeiten erstrecken sich von einfachen Wort-Repräsentationen über die Programmierung von Software bis hin zu Analysen komplexer Bild-, Video- und Audiodateien sowie Sprach- und Übersetzungsleistungen oder die Vermeidung von „Halluzinationen", also erfundenen Fakten, bei der Retrieval-Augmented Generation (RAG). Die Repräsentation von Bedeutungen in hochdimensionalen Vektorräumen hat die Art und Weise, wie Maschinen Daten be- und verarbeiten, grundlegend verändert: Embeddings ermöglichen es, komplexe Inhalte in eine Form zu bringen, die mathematisch verarbeitbar ist.

Die Entwicklung von Embeddings geht in Richtung größere Modelle, umfassendere Repräsentationen und breitere Anwendbarkeit. Herausforderungen sind dabei die ethische Nutzung der KI, die Vermeidung oder Verringerung eines Bias sowie eine Erhöhung der Energieeffizienz.

In der Praxis sind Embeddings heute bereits Standard. Denn Suchmaschinen, Empfehlungssysteme, Sprachassistenten oder Chatbots funktionieren nicht mehr ohne sie.