Nå begynner det å blir flere aktører i språkmodellverden. OpenAI er naturlig nok tyngst inne med gpt-35-turbo og gpt-4 hos seg selv og Microsoft sin utgave av modellene. OpenAI har løsningen ChatGPT og APIene, mens Microsoft promoterer Bing Chat og APIene. På siden av dette har vi Google Bard og en rekke språkmodeller basert på fri programvare.
Da dukker jo spørsmålet opp om hvilken løsning som er best, men det viktige spørsmålet er hvilken løsningen er best til hva? Her vil selvsagt de lærde strides og for hva det er verdt skal du få vite hva jeg mener. Strong opinions, weakly held! I praksis er det bare ChatGPT, GPT via API, Bing Chat og Google Bard som er tilgjengelig til de fleste i dag. De andre kommersielle språkmodellene som eksisterer er så vidt tilgjengelig i engelskspråklige land (med tilhørende mobilabonnement, så ikke prøvd deg!) og fri programvare-modellene er vanskelige å sette opp selv og fungerer kort sagt dårlig på norsk.
OpenAIs ChatGPT eller de «rene» API-ene til OpenAI har jeg (og de fleste andre) brukt lenge. Og de er fremdeles bra. Både gpt-35-turbo og gpt-4 gjør en god jobb med å være en dialogpartner som er hyggelig, oppmerksom, oppfinnsom og rimelig god på norsk – og enda bedre på engelsk. Hvis du spør den om noe, så får du som regel et meget godt svar. Litt ekstra oppmerksomhet på ledetekster og en påfølgende dialog om det som den skriver vil ofte gjøre ting enda bedre. OpenAI sine rene språkmodeller er på en måte malen vi måler de andre ut fra.
Det mest nærliggende er først å kikke på Bing Chat (og Bing Chat Enterprise). Bing Chat har vært her en stund og er bygget på gpt-4, og burde være ordentlig smart – siden den har både gpt-4 og søker på Internett etter informasjon den legger med i ledeteksten til gpt-4. Enterprise-versjonen ble nettopp sluppet og er for så vidt lik Bing Chat, men du er garantert at den ikke sniker i det du legger inn og får til svar. Likevel, Bing Chat gjør så mange rare ting, og det er nok alt etter hva den finner når den søker. Den er rimelig avhengig av å finne noe bra. Hvis den ikke gjør det blir svaret dertil rart, og den klarer ikke å rive seg løs fra den. Den kan lett også få «hangups» der det bare er å starte dialogen på nytt, i håp om at den gir bedre svar ved neste anledning. Bing Chat kan også finne på å avslutte samtalen med deg, og det kan skje rimelig uoppfordret. Et eksempel på dette er som følger hvor Bing Chat ikke lar meg skrive mer, og det eneste jeg kan gjøre er å velge «Nytt emne» for å starte en ny diskusjon.
Til å ha gpt-4 i bunn er Bing Chat forbausende dårlig til å holde en god dialog med deg. Den forstår ofte ikke hva du ber den om, så Microsoft må ha gitt gpt-4 noen systemkontekster/-ledetekster som gjør at den ikke oppfører seg like godt som ChatGPT/API gjør. Jeg ville ikke anbefalt lærere å bruke Bing Chat som en samtalepartner til elever, og egentlig heller ikke som en søkemotor på Internett. Den skriver lett feil, til tross for at den søker, og det knytter seg til at det den finner på nett i for stor grad overstyrer det som faktisk ville være riktig å skrive. Nå som ChatGPT støtter kobling mot Internett med Bing opplever jeg at den er bedre enn Bing Chat også når det gjelder å finne ting opplysninger som ligger på Internett.
Bing Chat kan også prøve seg med noen rare samtaler med deg som bruker. Etter at jeg lot den beskrive et bilde for meg spurte den uventet – «Er du glad i å lage ting?».
Og det ble ikke bedre da den fulgte opp svaret mitt. Hvorfor spør den om dette? Jeg regner med det er ekkoet av gpt-4 som vil være i vennlig dialog med meg, men det er ikke så bra at den skeiner ut i svingen på denne måten.
Bing Chat klarer heller ikke å late som om den er andre personer eller roller. Det å få Bing Chat med på en sokratisk dialog fungerer rett og slett ikke. Den begynner å søke på Internett, og så klarer den ikke å holde fokus på at den har fått en beskjed om å ha en sokratisk dialog med brukeren. Så alt det som gjør AI i Randabergskolen interessant, og som også er mulig å gjøre i ChatGPT med noen enkle ferdige ledetekster, er rett og slett ikke mulig å gjennomføre med Bing Chat.
Hvis du ber Bing Chat om å korrigere en tekst eller gjør noe annet med en tekst du limer inn i chat-feltet, risikerer du at Bing Chat søker etter noe på Internett og bruker dette som utgangspunkt for det den skal gjøre med teksten. Da kan det godt hende at den gjør noe helt annet enn det du ville at den skulle gjøre.
Google Bard er ikke noe bedre. Den klarer heller ikke holde dialoger gående, og det å få den med på en sokratisk dialog ender opp med at den kjører hele dialogen med seg selv uten innblanding av andre. Jeg regner med den søker på Internett når du skriver til den, men det kommer ikke så tydelig frem som Bing Chat. Jeg har også opplevd at Google Bard gjør stygge feil, som antyder at om den søker så bommer den og jeg får ikke vite hva den egentlig fant. Der er Bing Chat ryddigere.
Det er en utfordring at Googles og Microsofts påkoblede språkmodell søker opp «feil» tekst og så bruker de denne som utgangspunkt for det den svarer. I en språkmodell er det ikke alltid slik at det er tull inn og tull ut, men det blir ofte unøyaktigheter inn og helt usammenhengende rot ut – i forhold til det du spurte om.
Jeg regner med at både Microsoft og Google kjører ut disse tjenestene for å få dem brukt og testet, og at de inneholder en haug med barnesykdommer som de blir friskere av etter hvert som erfaringer og tilbakemeldinger samles inn. Slik det er i dag vil jeg likevel gå så langt og si at hvis du skal velge mellom ChatGPT/API fra OpenAI, Goole Bard og Bing Chat til pedagogisk bruk, så er ChatGPT/API fra OpenAI i en egen liga. Google Bard og Bing Chat er «bare» en forenklet måte å skrive inn et søk på, med fare for at språkmodellen de har koblet på roter det til i etterkant. Min erfaring er at det er dialogen mellom eleven og språkmodellen som er den store pedagogiske gevinsten, og denne dialogen fungerer rett og slett ikke i Google Bard og Bing Chat. Så selv om Google Bard og Bing Chat er koblet opp til Internett hjelper det fint lite når det ikke oppleves som en nyttig og meningsfull samtale.
Legg igjen en kommentar