I det følgende får du ingen fasit om hvordan du gjør store språkmodeller bra i skolen, men du skal få noen tips jeg har plukket opp i arbeidet med «AI i Randabergskolen». Dagens tips er 1) den sykt enkle måten å sette opp en løsning for din skole, 2) hvordan få GPT-modellene til OpenAI til å gi deg mer og 3) to «feil» som lett kan ødelegge mye.
Enklere enn dette kan du ikke gjøre det
Jeg kommer ikke til å veiledede deg steg for steg med skjermbilder og greier, og om du ikke forstår hva du skal gjøre etter at du har lest beskrivelsen min så må du la noen andre gjør det. Kanskje noe brutalt sagt, men sant.
Gå til www.domeneshop.no og kjøp et selvvalgt domenenavn. Kjøp et webhotell til domenet, og det holder med «Web medium» til kr 29 per måned. Deretter er det å gjøre en hurtig WordPress-installasjon. Gå inn på Webhotell-siden og opprett én MySQL-database til webhotellet. Du må også endre PHP fra 8.2 til 8.1 (viktig!). Gjennomfør en hurtiginstallasjon av WordPress (som er et egen «knapp» på Webhotell-siden), og gå inn i WordPress-installasjonen du nettopp har laget. Vel inne i admin-konsollet i WordPress må du gå til Utvidelser og legge til utvidelsen «AI Engine».
Nå må du skaffe seg en konto hos OpenAI (eller Azure OpenAI). Hvis du har en oppegående IT-avdelingen i organisasjonen kan de kanskje skaffe seg/deg en Azure OpenAI-konto, hvis ikke må du klare deg med OpenAI sitt eget tilbud. OpenAI er bra, men du kan bare betale via et VISA-kort som må legges inn. Videre beskriver jeg hvordan du gjør det med OpenAI sitt tilbud.
Gå til https://platform.openai.com og opprett en konto der. Når du har registrert deg med e-post, mobilnummer og VISA-kort, kan du gå til siden «API keys». Der må du lage en API-nøkkel og huske å kopiere den mens du enda ser den, fordi den vil alltid være skjult etterpå. Denne API-nøkkelen må du lime inn i utvidelsen AI Engine i WordPress-stedet ditt. Husk å krysse av «Stream» i AI Engine for å få den stilige skrivemaskineffekten mens AI-en svarer deg, så slipper du å vente på at maskinen mottar hele teksten før du får se den.
Da er du klar! Nå er det bare å lage chatboter som gjør det du vil den skal gjøre – og legge disse inn i på ulike sider i WordPress.
Hvis du i tillegg legger inn utvidelsen «WPvivid Backup Plugin» i WordPress kan du få en sikkerhetskopi av meg, som du fritt kan bruke på din WordPress. Der får du hele oppsettet til AI i Randabergskolen, men med andre bilder. Ta kontakt ved behov!
PS! Du får GPT-4 automatisk av OpenAI etter du har gjort den første betalingen til dem, så du må vente en måned før du er i gang med den modellen. Med Azure OpenAI hos Microsoft må du søke om tilgang til GPT-4-modellen og det kan ta noe tid (og er litt tungvint).
En smart ting for å få mer ut av en stor språkmodell
Det språkmodeller er dårligst til er å produsere egen tekst. Det høres kanskje litt pussig ut, fordi den kan være god til å lage tekst – men det er ikke det den er best til. Den er best når den får tekst å jobbe med når den skal skrive tekst. Da stemmer det den skriver ofte bedre med virkeligheten også. Trikset her er at det er mulig å bruke språkmodellen til å lage sin egen tekst den skal jobbe med, og her er et par eksempler.
Det første er å dele opp en jobb språkmodellen skal gjøre i flere påfølgende ledetekster. Ikke prøv å få alt inn i en ledetekst, fordi da gir du ikke språkmodellen mer å jobbe med enn det som står i ledeteksten. Hvis du lar den jobbe steg for steg vil den selv produsere tekst som blir med i de påfølgende ledetekstene.
Jeg skal skrive et essay om språkmodeller og trenger noe inspirasjon til hva jeg kan skrive om.
Har du en skriveramme for et essay?
Kan du lage et eksempelessay for meg?
Her får du først noen ideer, så får du en skriveramme hvor den bruker ideene den nettopp beskrev og så bruker den ideene og skriverammen den nettopp viste til å lage et eksempel på et essay. Det hadde den ikke gjort så godt om du bare hadde skrevet «Skriv et essay om språkmodeller». Du kan også gi den beskjed underveis om hvem du er (og her kan du late som hvem du vil være), slik at språkmodellen har enda mer kontekst den kan bruke når den svarer på ledetekstene underveis.
Et annet eksempel…
Hva er forskjellen mellom Darth Vader og Voldemort om hvorfor de ble onde? Hvordan gikk det med dem? Fant de forløsning? Hvem av dem var ondest? Likner noen av disse to skikkelsene på andre kjente skikkelser i religionshistorien? Beskriv de grunnleggende tankene i Joseph Campbells "The Hero's Journey". Kan du sette begge karakterene inn i Joseph Campbells rammeverk om "The Hero's Journey"?
Poenget med å lage ledetekster i rekkefølge er at språkmodellen selv kan produsere tekst der den vil lage gode forslag, hvorpå den vil bruke dette til å utvide teksten den skriver som svar på de neste ledetekstene.
To utfordringer som gir grå hår
Først en liten sak som ikke er et stort problem, men som det er lurt å vite om. Om du ender opp med en ledetekst som inneholder en del engelske ord (eller andre språk enn norsk) og tekst som blir produsert også inneholder mange ikke-norske ord, vil du risikere at GPT-modellen får merkbart dårligere norsk grammatikk, rettskrivning og fraseringer. Du får raskt «en hus» og «jeg håper dette brevet finner deg ved god helse». Dette er fordi det er så mange andre ord som ikke er norske at det gjør andre vurderinger når den skal prøve å finne den neste riktige stavelsen når den skriver norsk. Den er «smittet» av de andre språkene den bruker ord fra. Det er greit å vite når noen irriterer seg over at GPT-modellen ikke skriver god norsk. Du kan kanskje unngå dette ved å presisere i systemledeteksten, altså den som er «promptet» til chatboten, at den alltid skal skrive på korrekt, lett lesbar bokmål (eller norsk eller nynorsk). Hvis du gjør det vil den vanskelig kunne overtales til å skrive noe annet enn norsk, så her må du gjøre noen vurderinger etter hva som er hensikten med chatboten.
Så til den større utfordringen. Denne gjelder bare Azure OpenAI, altså tjenesten som blir levert av Microsoft, og ikke tjenesten fra OpenAI. Microsoft har automagisk skrudd på en filterkontroll av ledeteksten du sender inn og det svaret som GPT-modellen selv generer. Filteret skal stoppe tekst om sex, vold osv. og det er satt til «medium, high», som betyr at det slår ut om den mener teksten for eksempel er «medium violent». Problemet er at «medium violent» ikke er særlig voldelig og blir aktivert av helt vanlig tekst som ingen vil tenke på som særlig voldelig.
Jeg har ofte brukt en elevtekst når jeg holder kurs, og hver gang jeg brukte den så stoppet plutselig chatboten å skrive – midt i en setning. Ingen feilmelding. Ingenting. Den bare stoppet. Det gjentok seg omtrent på samme sted i svaret hver gang. Jeg tok teksten med meg dypt inn i Microsofts irrganger i Azure OpenAI-lekegrinden og fant at setningen «Han hadde en beholder med blod, og etter noen timer dro vi hjem.» var for sterk, og det var ordet blod som var triggeren. Dette var for øvrig en tekst om en far som hadde havnet på sykehus etter en ulykke. Ta vekk ordet blod og så var teksten helt fin og filteret ble ikke utløst. Utfordringen er at GPT-modellen kan trigge seg selv. Hvis du ber GPT skrive en tekst om skikkelsen Voldemort kan du risikere at modellen selvsensurer seg selv, fordi den kan finne på å skrive at Voldemort torturerte og drepte trollmenn og hekser som ikke støttet ham. Og da stopper produksjonen av tekst midt i en setning.
Det er mulig å be Microsoft om å få lov til å styre dette delvis selv, og jeg venter i spenning på om jeg får lov til å ha «high» som min grense og så kan jeg sette det til «medium» på de områdene hvor jeg mener det er riktig. Vi får se…
OpenAI har ikke dette problemet, fordi der satser de heller på at modellen stopper deg hvis du prøver å gjøre noe upassende eller usømmelig.
Legg igjen en kommentar