Frem til nå har det vært én ting vi ikke har gjort på KI i Randabergskolen. Vi har ulike prateroboter (som alle har), vi har skjema (som de som kopierer KI i Randabergskolen også har), vi kjører en rekke ulike språkmodeller fra ulike leverandører (som få gjør) og vi har ulike varianter av Retrieval Augmented Generation (RAG) med interne kilder (som enda færre gjør). Det vi ikke har gjort er å la praterobotene søke på den store verdensveven, og som ingen andre tilbyr elever og lærere. Dette har lenge vært tilgjengelig via praterobotene til OpenAI, Microsoft og Google (og Perplexity), og det er dette vi i Randabergskolen nå kan dra nytte av. Målet med dette er å gjøre svaret fra prateroboten mer korrekt og oppdatert. Det har fungert så som så i mange prateroboter, for å si det slik. Finner en praterobot feil ting på Internett, så skriver prateroboten enda mer tull enn den ville gjort uten søket.
Websøk på KI i Randabergskolen
Nå har utvikleren av AI Engine, som vi bruker på KI i Randabergskolen, laget en utvidelse til utvidelsen som gjør at praterobotene kan søke på Internett for å finne aktuell tekst som kan bli en del av ledeteksten. Foreløpig støtter utvidelsen tjenestene Google Custom Search API og Tavily, og du kan velge når og hvordan prateroboten skal søke.
Utfordringen mange ikke tenker på er at søk på Internett ikke er gratis! Det koster faktisk noe å søke og å laste ned det du finner. Google tar $5 per 1000 søk, og hvor ett søk inneholder 10 treff. Tavily har en annen modell hvor du får 1000 søk gratis i måneden, eller du kan betale ulike månedlige satser for flere søk. Det høres kanskje ikke dyrt ut, men det er det. Velger du «Every Query» går det med ett søk for hver gang du skriver noe til prateroboten, og da baler det fort på seg. Da er det bedre med «Query Keywords» eller «Query Command», hvor brukeren selv må si til prateroboten at den skal søke på nettet.
«Function Calling» er en spennende variant. Velger du denne avgjør språkmodellen selv om den trenger å søke på Internett, alt etter om den tror den vet nok om det du spør om eller ikke. Det er her vi kan dra nytte av at KI-firmaene har forsøkt ulike RAG-varianter før oss. OpenAI sin gpt-4o (også mini) får for eksempel avgjøre om den trenger mer informasjon, og hvis den gjør det svarer den prateroboten min at den må gjøre et søk med søkeord språkmodellen selv mener er riktige å bruke! Så sender min praterobot dette til søketjenesten, og svaret den da får videre til språkmodellen for det endelige svaret. Hvordan dette fungerer i praksis er i stor grad opptil den enkelte KI-tjenesten, og hvordan den selv tenker om hva den trenger av informasjon – og om den støtter denne funksjonen. Det er foreløpig bare OpenAI og Anthropic som støtter dette i AI Engine.
Det er fremdeles utfordringer
Samtidig er det viktig å vite at dette ikke løser utfordringen med at språkmodeller konfabulerer. Det er enda en utfordring at språkmodeller ikke forstår hva du skriver, slik du forstår det, og vet derfor ikke hva du egentlig ønsker å finne få svar på. De gjør en så god jobb som de kan, men de vet ikke om det de finner på nett er det du egentlig lurer på eller om det er et godt svar. Uansett bruker de det de finner til å skrive et svar til deg, så hvis de finner feil ting blir svaret helt feil. Og kanskje mer alvorlig, hvis de finner en tendensiøs eller dårlig tekst på nettet blir svaret deretter.
En spennende mulighet er at Googles søke-API gir meg anledning til å lage egne søkemotorer, som for eksempel kan begrense seg til Store norske leksikon (SNL) og Wikipedia. Da vet jeg i større grad hva prateroboten finner når den søker, og at det den finner er rimelig sikkert riktig. Men dette er ikke så spennende, fordi de fleste språkmodeller er gode på det de finner på Wikipedia (og SNL) fra før.
Selv med søk aktivert blir det fremdeles mye konfabulering når prateroboten får i oppdrag å lage en oversikt over romaner av André Bjerke. Dette er en av «testene» mine på hvor kulturelt norsk en språkmodell er. Det skal sies at om jeg skriver «Søk på Wikipedia etter André Bjerke og fortell meg hva han har skrevet.» til prateroboten, så gjør den det – og den gjør det riktig. Men jeg må være helt konkret på hva den skal gjøre for at den skal gjøre det riktig. Den andre testen består den fint og klarer for første gang å gjengi teksten til «Lisa gikk til skolen», antakeligvis fordi dette er et veldig enkelt søk.
Og… ikke glem at dette bare er søk på Google, og Google gir deg ikke hele innholdet på siden. Den gir deg bare ett avsnitt med den delen den tror er den riktige delen av denne siden. Prateroboten går ikke inn på selve nettsiden hvor det står mer informasjon.
Men trenger vi dette?
Det viktigste spørsmålet er likevel om vi trenger dette i løsninger laget for skole. Heng med her. Ideen bak KI i Randabergskolen er å gi elever og lærere tilgang til språkmodeller i en trygg og tilpasset løsning – av to grunner. Den ene er at prateroboter er et godt verktøy for elever og lærere i skolen (ja, jeg mener fremdeles det), og det andre er at de må bli kjent med (og lære) hva dette er og ikke er gjennom å erfare det i praktisk bruk. For å kunne vise hva en ting er og hva det ikke er, må vi av og til begrense mulighetsrommet. En praterobot som søker på nett og lager sin egen ledetekst er mer kompleks og uoversiktlig enn en praterobot med en gitt ledetekst som brukeren selv har kontroll over. I undervisning er det bedre å ha et sett med prateroboter uten tilgang til nettet og noen med tilgang til nettet. Det er da elevene og lærerne har anledning til å oppleve forskjellen, og forhåpentligvis erfare hva som er nyttig og ikke i de ulike løsningene. Hvis elever og lærere bare har tilgang til prateroboter som selv velger når de skal søke på nett eller ikke, mister de kontroll over hva som i praksis skjer. Samtidig mister vi muligheten til å bruke KI i Randabergskolen som en læringsarena om hva KI i form av språkmodeller er og ikke er. Det blir bare et ustabilt og kaotisk redskap i forbindelse med læring, og det trenger vi ikke flere av.
Nå høres det ut som om jeg ikke vil ha denne muligheten i skole, men det stemmer ikke. Ut fra det jeg har testet er en praterobot med OpenAI eller Anthropic og som selv får velge når den søker på nett, et kraftig verktøy. Jeg har selv muligheten til å lage en systemledetekst som opplyser om når den søker og gir meg kildene den bruker, så jeg synes faktisk jeg har fått en praterobot som gjør en bedre jobb enn de fleste kommersielle prateroboter i forhold til det å søke på nettet med den. Så lenge du vet hva du gjør er dette en mer effektiv måte å søke på Google enn Google Søk selv. Dette kommer i tillegg til at elever og lærere selvfølgelig også skal bruke en slik praterobot til å lære hvordan en praterobot som selv velger å søke på nett fungerer, og hvorfor.
Så hvor går jeg videre i forhold til KI i Randabergskolen? Tja. Det skal testes, men magefølelsen sier at jeg ikke kommer til å gjøre så mye mer enn å lage en ekstra praterobot som søker på nett. Alternativet er at brukeren selv må skrive /søk før ledeteksten for at prateroboten skal aktivere søkefunksjonen.
Legg igjen en kommentar