Effizientes Abrufen und Einordnen relevanter Informationen
Die ständig wachsende Menge an verfügbaren Dokumenten macht die Analyse großer Datenmengen zunehmend anspruchsvoller. Ein typisches Szenario ist dabei die Suche nach relevanten Informationen. Mit der Verbreitung großer Sprachmodelle in jüngster Zeit ergeben sich jedoch spürbare Vorteile, um diese Datenflut effektiv zu bewältigen.
Ein Beispiel hierfür ist der AI Data Pilot (RAG) von digitalsalt, der eine Vektordatenbank verwendet, um Einbettungen und Suchmechanismen zu nutzen und eng verwandte Dokumente zu identifizieren.
AI-Suche: Ein Überblick
AI Search ist der Cloud-basierte Suchdienst von digitalsalt im Rahmen des AI Data Pilot, der Anwenderinnen und Anwendern eine leistungsstarke Suchfunktion für verschiedene Arten von Inhalten bietet. Er umfasst erweiterte Funktionen wie Volltextsuche, Fuzzy Matching, facettierte Navigation, Filterung und Sortierung. Der Dienst unterstützt auch erweiterte Funktionen wie Sprachanalysatoren, Stemming, Synonyme und georäumliche Suche.
Dieser Artikel konzentriert sich auf die Retrieval- und Ranking-Funktionen von AI Search, die für RAG-Systeme besonders relevant sind.
Abruf (L1): Die Grundlagen
Der erste Schritt im Suchprozess, oft L1 genannt, besteht darin, aus einem großen Index schnell alle Dokumente zu finden, die den Suchkriterien entsprechen. Normalerweise werden die 50 besten Ergebnisse für den Benutzer ausgewählt oder an die nächste Ebene weitergegeben. Azure AI Search unterstützt drei primäre Abfragemodi:
Die Vektorsuche identifiziert ähnliche Begriffe, indem sie diese in mathematische Vektoren umwandelt, die anhand ihrer Nähe in einem hochdimensionalen Raum gemessen werden. Anders als bei der Stichwortsuche wird bei dieser Methode die semantische Bedeutung von Wörtern und Dokumenten erfasst. AI Search unterstützt die Algorithmen Hierarchical Navigable Small World (HNSW) und exhaustive k-nearest neighbor (exhaustiveKNN) für die Vektorsuche, wobei die Kosinus-Ähnlichkeit die Standardmetrik für die Messung der Vektornähe ist
Diese Methode verwendet herkömmliche Volltextsuchtechniken, wobei der Inhalt über eine sprachspezifische Analyse in Begriffe zerlegt und invertierte Indizes für einen schnellen Abruf angewendet werden. Die Ergebnisse werden anhand des probabilistischen Modells BM25 bewertet.
Kombiniert die Schlüsselwort- und die Vektorsuche und verwendet Reciprocal Rank Fusion (RRF), um die besten Ergebnisse aus beiden Ansätzen in einer einzigen Rangliste zusammenzufassen.
Ranking (L2): Verfeinerung der Suchergebnisse
Beim Ranking, auch als L2-Schritt bezeichnet, werden die besten Ergebnisse aus dem vorherigen Schritt (L1) mithilfe zusätzlicher Rechenleistung weiter optimiert, um eine genauere Relevanzbewertung zu erzielen. Dieser Prozess ist entscheidend für RAG-Anwendungen, da er sicherstellt, dass die relevantesten Dokumente an oberster Stelle angezeigt werden. Allerdings kann L2 nur die Reihenfolge der gefundenen Ergebnisse verbessern – fehlende Dokumente, die L1 nicht gefunden hat, können dadurch nicht nachträglich ergänzt werden.
AI Search nutzt für das semantische L2-Ranking Deep-Learning-Modelle, um die 50 besten Ergebnisse weiter zu analysieren und sie optimal auf die Anfrage des Nutzers abzustimmen.
Ein Beispiel: Das Wort „Capital“ kann verschiedene Bedeutungen haben. Der semantische Ranker interpretiert den Kontext der Anfrage, um die passendsten Ergebnisse bereitzustellen.
Scoring-Profile: Ergebnisse gezielt priorisieren
Mit der AI Search können benutzerdefinierte Scoring-Profile erstellt werden, um die Reihenfolge der Suchergebnisse gezielt zu beeinflussen. Zum Beispiel lassen sich Dokumente mit bestimmten Metadaten priorisieren, sodass solche mit höherer Relevanz oder Wichtigkeit zuerst angezeigt werden.
Best Practices für generative KI
Für erfolgreiche RAG-Anwendungen empfiehlt sich die Kombination aus hybrider Suche und semantischem Ranking, da diese die besten Ergebnisse liefert. Hier sind einige wichtige Erkenntnisse:
Die Keyword-Suche ist besonders geeignet, wenn es um das Auffinden spezifischer Begriffe geht, wie etwa bei E-Mails oder Produktnamen. Im Gegensatz dazu konzentriert sich die Vektorsuche auf die semantische Bedeutung von Inhalten. Dadurch kann sie Absichten besser verstehen und flexibel mit Rechtschreibfehlern, Synonymen oder unterschiedlichen Formulierungen umgehen.
Dies ist ein entscheidender Verfeinerungsschritt, da generative KI-Modelle oft lediglich die ersten wenigen Ergebnisse (z. B. die Top drei) als Kontext für ihre Antworten heranziehen.
Das Zerlegen von Dokumenten in kleinere Teile ist für RAG-Anwendungen unerlässlich, insbesondere um innerhalb des Kontextfensters des Modells zu bleiben und die Relevanz zu verbessern.
Fazit: Relevante Ergebnisse für KI-Anwendungen
Das Abrufen und Bewerten relevanter Dokumente ist eine zentrale Grundlage für generative KI-Anwendungen. Eine Kombination aus Keyword- und Vektorsuche sowie präzisem semantischen Ranking sorgt dafür, dass die Ergebnisse möglichst hochwertig sind. Zusätzliche Maßnahmen wie das Aufteilen von Dokumenten in kleinere Abschnitte (Chunking) und gut durchdachte Bewertungsprofile steigern die Effizienz und Genauigkeit, insbesondere in komplexen und datenintensiven Szenarien.
Sie möchten mehr wissen oder benötigen unsere Unterstützung? Wir freuen uns darauf, von Ihnen zu hören!
Jesko Rehberg – Solution Developer (Data Science)
jesko.rehberg@digitalsalt.de
+49 (0)4131 8848-00
