Large Language Models (LLMs) sind mittlerweile allgegenwärtig und verändern die Art und Weise, wie wir mit Künstlicher Intelligenz (KI) interagieren. Besonders populär sind KI-gestützte Chats und generative KI-Services, die in Plattformen wie ChatGPT, Claude oder Gemini zum Einsatz kommen.
Doch viele Unternehmen nutzen diese Technologien noch nicht optimal. Häufig werden sie als separate Tools betrachtet, obwohl sie sich nahtlos in bestehende Systeme integrieren lassen – beispielsweise über APIs in digitale Arbeitsplätze, Portale oder Content-Management-Systeme (CMS).
Ein besonders spannendes KI-Feature ist die Möglichkeit, mit Ihrem Unternehmensportal zu chatten – mithilfe eines sogenannten RAG-Chatbots (Retrieval Augmented Generation). So ein Chatbot kann auf unternehmensspezifische Daten zugreifen (Retrieval) und diese Daten nutzen, um präzise und relevante Antworten zu liefern (erweiterte Generierung).
Anwender haben damit neue Möglichkeiten, um an Informationen zu kommen: Statt lange zu suchen, können Sie sich korrekte Antworten auf ihre Fragen geben lassen.
Ein RAG-Chatbot ist wie ein perfektes Gericht – die richtigen Zutaten müssen sorgfältig kombiniert werden, um das gewünschte Ergebnis zu erzielen. Doch statt Mehl, Zucker und Salz benötigen wir hier Datenquellen, Suchtechnologie und KI-Services.
Im Folgenden zeigen wir Ihnen, welche fünf essenziellen Zutaten Sie für einen leistungsfähigen RAG-Chatbot benötigen – und wie Sie diese optimal miteinander verbinden.
Ein RAG-Chatbot ist wie ein perfektes Gericht – die richtigen Zutaten müssen sorgfältig kombiniert werden, um das gewünschte Ergebnis zu erzielen. Doch statt Mehl, Zucker und Salz benötigen wir hier Datenquellen, Suchtechnologie und KI-Services.
Im Folgenden zeigen wir Ihnen, welche fünf essenziellen Zutaten Sie für einen leistungsfähigen RAG-Chatbot benötigen – und wie Sie diese optimal miteinander verbinden.
Die erste Frage, die Sie sich vielleicht stellen: Warum nicht einfach einen klassischen Chatbot nutzen?
Ganz einfach: Ein herkömmlicher Chatbot ist oft zu eingeschränkt. Er basiert meist auf strukturierten und vordefinierten Antworten und kennt nur das, was ihm vorher beigebracht wurde. Seine Wissensbasis kann nicht flexibel um aktuelle Informationen erweitert werden. Daher lässt er sich bspw. auch nur schwer erweitern, wenn neue Datenquellen oder Workflows integriert werden sollen.
Abbildung 1 - Die Zutaten für ein Gespräch mit Ihrem Portal
Ein Chatbot ist nur so gut wie die Daten, auf die er zugreifen kann. Doch hier gibt es eine Herausforderung: Sind die Daten überhaupt zugänglich?
Viele Unternehmensdaten sind durch Berechtigungen geschützt. Ein Mitarbeiterportal oder ein Serviceportal enthält wertvolle Informationen – aber nicht jeder darf darauf zugreifen. Daher ist technisch zu klären, wie der Zugriff mit den Berechtigungen des Anwenders für die KI umgesetzt werden kann.
Darüber hinaus ist zu klären, ob Betriebsvereinbarungen notwendig sind, um auf die Daten zuzugreifen – denn diese benötigen in der Regel längere Abstimmungsprozesse.
Eventuell gibt es aber auch regulatorische Vorgaben, die zu beachten sind.
Diese Aspekte sind die Grundlage für alle weiteren Schritte und für den erfolgreichen Einsatz von KI in Ihrem Unternehmen von entscheidender Bedeutung.
Das Herzstück eines RAG-Chatbots ist das Large Language Model (LLM) – die KI, die auf Basis der abgerufenen Daten Antworten generiert. Doch hier stellt sich eine wichtige Frage: Wo soll das LLM betrieben werden?
Ein Cloud-basiertes LLM ist schnell einsatzbereit und erfordert keine eigene Infrastruktur. Es bekommt automatisch Updates und kontinuierliche Verbesserungen durch den Anbieter.
Jedoch müssen Datenschutz und Compliance-Anforderungen beachtet werden, insbesondere wenn sensible Unternehmensdaten verarbeitet werden. Die meisten Cloud-Anbieter bieten hierzu aber Lösungen an.
Als Alternative bietet sich ein On-Premises LLM an, das in Ihrer eigenen Umgebung läuft. Hier haben Sie volle Kontrolle über Daten und Infrastruktur und können es an spezifische Unternehmensanforderungen anpassen. Somit ist es Ideal für Unternehmen mit hohen Datenschutz- und Compliance-Anforderungen.
Lokale Installationen sind möglich, erfordern aber hohe Investitionen in leistungsstarke Hardware. Auch Themen wie Wartung und Updates führen zu Kosten. Hier ist sehr genau abzuwägen, ob diese Art der Installation wirklich ausreichend Vorteile bietet.
Egal, ob On-Premises oder Cloud – das LLM ist die entscheidende Zutat für einen leistungsfähigen Start mit dem RAG-Chatbot.
Wollen Sie das Angebot erweitern, so können zusätzliche KI-Services ergänzt werden. Das Beste daran ist: Sie können klein starten und den Chatbot nach und nach weiter ausbauen.
Ganz einfach: Das LLM kennt nur die Daten, mit denen es trainiert wurde: Unternehmensspezifisches Wissen fehlt ihm. Die Suchmaschine sorgt dafür, dass die KI gezielt darauf zugreifen kann.
Die Suchmaschine erlaubt es, immer auf die aktuellsten Daten zuzugreifen. Sie berücksichtigt das Rollenmodell, und liefert je nach Nutzer unterschiedliche Informationen. Darüber hinaus arbeitet die Suchmaschine sehr effizient.
Doch nicht jede Suchtechnologie ist gleich:
Die klassische Volltextsuche sucht nur nach exakten Übereinstimmungen – Synonyme oder ähnliche Formulierungen werden oft nicht erkannt. Eine semantische Suche versteht die Bedeutung hinter den Wörtern und liefert relevantere Ergebnisse.
Da Daten die Grundlage für die Interpretation sind, ist die semantische Suche klar im Vorteil.
Wie verbinden wir nun all diese Komponenten? Auch hier gibt es mehrere Möglichkeiten:
Ein RAG-Chatbot kann noch so gut sein – ohne den richtigen Prompt wird er keine optimalen Antworten liefern. Was macht einen guten Prompt aus?
Ein RAG-Chatbot ist wie ein gutes Rezept – die Zutaten müssen stimmen. Unsere Empfehlung: Starten Sie mit einem Prototyp, sammeln Sie Erfahrungen – und skalieren Sie dann!
Denn mit den richtigen Zutaten wird Ihr RAG-Chatbot nicht nur ein Erfolg – sondern ein echter Gamechanger für Ihr Unternehmen.
Wir wissen: Die Integration von KI in bestehende Systeme ist kein einfaches Rezept – aber genau hier kommen wir ins Spiel. Mit unserer Erfahrung aus zahlreichen KI-Projekten und unserem tiefen Verständnis für KI, Datenarchitekturen und Unternehmensprozesse helfen wir Ihnen, die perfekte Lösung für Ihr Unternehmen zu entwickeln.
Egal, ob Sie gerade erst starten oder bereits konkrete Anforderungen haben – wir begleiten Sie bei jedem Schritt: