RAGServiceArchitectuur

Waarom 90% van de zakelijke chatbots faalt (en hoe RAG dit oplost)

Arjan Woldring 12 Okt 2024 8 min leestijd
Waarom 90% van de zakelijke chatbots faalt (en hoe RAG dit oplost)

Het scenario is pijnlijk herkenbaar: u bezoekt een website, opent de chatwidget en stelt een inhoudelijke vraag. Het antwoord? "Ik begrijp het niet, kunt u de vraag anders formuleren?" of erger: een zelfverzekerd antwoord dat feitelijk onjuist is.

Dit is de staat van de meeste zakelijke chatbots vandaag de dag. Ze worden vaak verkocht als "Magische AI", maar in de praktijk zijn het domme beslisbomen of losgeslagen taalmodellen zonder kader.

Het probleem: Hallucinaties en gebrek aan context

Standaard taalmodellen (zoals een kale GPT-4 implementatie) zijn getraind op het internet tot een bepaalde datum. Ze weten veel over de wereld, maar niets over uw bedrijf.

Wat het model NIET weet:

  • Uw actuele levertijden van vandaag.
  • De specifieke clausule in paragraaf 3.4 van uw algemene voorwaarden.
  • De status van Order #29301 van mevrouw Jansen.

Als u zo'n model "loslaat" op uw klanten zonder strakke architectuur, gaat het model gaten vullen. In AI-termen noemen we dit hallucineren. Het model verzint een plausibel klinkend antwoord ("Uw pakket komt morgen!") terwijl het daar geen data voor heeft. Dodelijk voor uw betrouwbaarheid.

Cybersecurity lock concept

De Oplossing: Retrieval Augmented Generation (RAG)

Bij Panser Works geloven we niet in chatbots die "zomaar wat kletsen". Wij bouwen systemen op basis van RAG. Dit is geen tool, maar een architectuur die feiten scheidt van taalvaardigheid.

Simpel gezegd werkt dit proces in drie stappen:

1

Retrieval (Ophalen)

De klant stelt een vraag. Het systeem zoekt eerst razendsnel in uw eigen database (kennisbank, PDF's, SQL-database) naar relevante feiten. Dit gebeurt vaak via 'vector search'.

2

Augmentation (Verrijking)

We plakken de gevonden feiten aan de vraag van de klant. De prompt aan de AI wordt dan niet: "Wat is de levertijd?", maar: "Gebruik de volgende context: [Levertijd is 2 dagen]. Beantwoord nu de vraag van de klant: Wat is de levertijd?"

3

Generation (Generatie)

Het taalmodel formuleert een vriendelijk, vloeiend antwoord, maar is 100% gebonden aan de feiten die wij hebben aangeleverd.

Waarom dit werkt voor het MKB

Met RAG dwingt u de AI in een korset van waarheid. Als het antwoord niet in uw documentatie staat, programmeren wij het systeem zo dat het eerlijk zegt: "Ik kan dit niet vinden, ik verbind u door met een collega."

Dit maakt de stap naar AI veilig. U hoeft geen miljoenen data-punten te hebben om een eigen model te trainen. U heeft alleen een goede kennisbank nodig. En die heeft u vaak al (PDF handleidingen, website FAQ, interne memo's).

Wilt u zien hoe RAG werkt met uw data?

Wij bouwen in 1 week een prototype op basis van uw handleidingen.

Interessant?

Wilt u weten wat dit concreet betekent voor uw organisatie? Plan een vrijblijvende sparringsessie.

Waarom 90% van de zakelijke chatbots faalt (en hoe RAG dit oplost) - Panser Works B.V. | Panser Works B.V.