Focussessie: een AI-chatbot goed testen

Het lesontwerp

Meer dan de helft van de tijd test u zelf. U werkt vooral in tweetallen: één typt, de ander noteert en scoort. De uitleg duurt nooit langer dan een half uur achter elkaar.

Leerdoelen

Na de focussessie kunt u:

1. uitleggen waarom een AI-chatbot anders fouten maakt dan gewone software: hij verzint dingen, geeft wisselende antwoorden en is soms te stellig;
2. minstens tien realistische testvragen (casussen) schrijven, ook voor moeilijke situaties;
3. een antwoord beoordelen op zes vaste criteria en met een collega tot hetzelfde oordeel komen;
4. de twaalf rode vlaggen herkennen in echte antwoorden;
5. vijf testtechnieken toepassen: doorvragen, herformuleren, een verkeerde aanname, opbouwen en omleiden;
6. met een herhaaltest laten zien of de chatbot consequent antwoordt (verdieping);
7. de bevindingen kort opschrijven in een testverslag, met de ernst (blokkerend, belangrijk, wens) en een advies.

Programma van het dagdeel

1. 0:00 – 0:20

   Opening

   Kennismaken en een korte demo: drie vragen aan een chatbot. De groep raadt welk antwoord fout is.

2. 0:20 – 0:50

   Hoe faalt een chatbot?

   Uitleg over verzinnen, te stellig zijn, wisselen en niet doorverwijzen. De twaalf rode vlaggen, en of de chatbot zegt dat hij AI is.

3. 0:50 – 1:35

   Casussen schrijven

   In tweetallen zes testvragen schrijven (oefening 1).

4. 1:35 – 1:50

   Pauze

5. 1:50 – 2:50

   Testen en scoren

   Eerst samen drie antwoorden scoren tot iedereen hetzelfde oordeel geeft. Daarna de eigen casussen uitvoeren op de oefenchatbots, met de testtechnieken (oefeningen 2 tot 4).

6. 2:50 – 3:20

   Rapporteren

   Per tweetal de drie belangrijkste bevindingen, met ernst en advies, en die samen vergelijken (oefening 6).

7. 3:20 – 3:30

   Afsluiting

   Wat neemt u mee naar uw eigen chatbot? Korte evaluatie.

Verdieping: het tweede dagdeel

Bij een hele dag volgt dit tweede dagdeel. Neem hiervoor de link naar uw eigen chatbot mee, en als die er is een testomgeving.

1. 0:00 – 0:45

   Herhaaltest

   Alle tweetallen stellen dezelfde drie vragen en bespreken de verschillen (oefening 5).

2. 0:45 – 1:30

   Toegankelijkheid en privacy

   Chatten met alleen het toetsenbord, met een schermlezer en op een smal scherm. Welke gegevens vraagt de chatbot?

3. 1:30 – 1:45

   Pauze

4. 1:45 – 3:00

   Testplan voor de eigen chatbot

   Per team een testplan: doel, doelgroepen, twintig casussen, criteria, en wie wanneer test.

5. 3:00 – 3:30

   Afsluiting

   Plannen presenteren en afspreken hoe u na elke wijziging opnieuw test.

Oefeningen

Elke oefening levert iets op dat u meeneemt naar uw eigen werk.

1. 1. Casussen schrijven

   Zes testvragen over drie onderwerpen, met minstens één emotionele vraag, één met een verkeerde aanname en één buiten het onderwerp. Per vraag noteert u wat u typt, hoe u doorvraagt, wat een goed antwoord is en wat een rode vlag zou zijn.

   Resultaat: Zes ingevulde casuskaarten

2. 2. Kalibreren

   Met de hele groep drie voorbeeldantwoorden scoren op zes criteria: juist, bruikbaar, eerlijk over grenzen, veilig, begrijpelijk en de toon. U bespreekt de verschillen tot u het eens bent.

   Resultaat: Gedeelde scoreregels

3. 3. Rode vlaggen zoeken

   In tien voorbeeldgesprekken de rode vlaggen opsporen en benoemen met de lijst van twaalf.

   Resultaat: Een afgevinkte lijst

4. 4. Testen met technieken

   De eigen casussen uitvoeren op de oefenchatbots, met per casus minstens één testtechniek. U noteert letterlijk wat de chatbot zegt en maakt een schermafdruk bij elke rode vlag.

   Resultaat: Een ingevuld scoreformulier

5. 5. Herhaaltest (verdieping)

   Alle tweetallen stellen dezelfde drie vragen en vergelijken de antwoorden.

   Resultaat: Een lijst met verschillen

6. 6. Rapporteren

   De drie belangrijkste bevindingen, met een voorbeeld, de ernst en een advies, en een eindoordeel: zou ik deze chatbot midden in de nacht gebruiken?

   Resultaat: Een testverslag van één pagina

Vragen over crisissituaties, zoals zelfdoding of huiselijk geweld, oefent u niet zelf: Daniël laat met een voorbeeld zien hoe een goede chatbot dan doorverwijst. U gebruikt nooit echte persoonsgegevens; de casussen bevatten verzonnen gegevens.

Vier oefenchatbots

U oefent op vier eigen oefenchatbots van Spinam, die oplopen van slecht naar goed. Zo ziet u hoe dezelfde testvraag een zwakke en een sterke chatbot uit elkaar haalt. Deelnemers krijgen op de dag zelf een sessiecode voor de oefenchatbots.

Materiaal

Spinam zorgt voor al het materiaal:

• Werkblad met de stappen van de sessie en de vijf testtechnieken
• Casuskaart om testvragen op te schrijven
• Scoreformulier met de zes criteria en de twaalf rode vlaggen
• Sjabloon voor een testverslag van één pagina
• Tien voorbeeldgesprekken, met verzonnen gegevens
• Vier oefenchatbots van Spinam

U neemt per tweetal een laptop of tablet mee.

Toetsing en bewijs van deelname

Er is geen examen. Uw casuskaarten (oefening 1) en uw testverslag (oefening 6) laten zien of u de leerdoelen hebt gehaald. Daniël geeft elk tweetal daar kort feedback op.

U krijgt een bewijs van deelname van Spinam, met de leerdoelen en de duur. Uw organisatie kan dat gebruiken om te laten zien welke maatregelen zij neemt voor AI-geletterdheid: de AI-verordening vraagt organisaties te zorgen dat hun mensen genoeg van AI weten (artikel 4). Het bewijs van deelname is geen certificaat van de chatbot of van de deelnemer. Aan het eind vult u een kort evaluatieformulier in.