Det Udir burde bekymre seg for

Lesere av bloggen vet at jeg er uenig i Udirs fjerning av forberedelsesdel til eksamen, men jeg tror ikke det er der det går galt til våren. Udir bare reagerer og det er ikke nok. De må våge å gløtte i krystallkulen, i stedet for å bare prøve å lime sammen ting etter det er knust (etter deres syn). Bruk av KI før eksamen er ikke problemet. Bruk av KI under eksamen er.

Jeg vil nå skissere en reell situasjon, som enkelt kan gjøres av elever som leser det jeg skriver her. Bare så det er sagt – det jeg viser er gjort på en helt ordinær bærbar PC til elever i videregående skole. Maskinen til eleven har 16GB minne, Intel CPU og kjører Windows11. Situasjonen er sentralt gitt eksamen i norsk, eller engelsk, på videregående skole. På eksamen har ikke eleven tilgang til et åpent Internett, og jeg tar for gitt at filteret er tett nok til at eleven ikke får tak i noen KI-tjenester utenfor maskinen. I videregående skole er det få (om noen) som bruker systemer som tar kontrollen over elevens maskin, så elevene kan i praksis kjøre de programmene de ønsker å kjøre på maskinen.

Før eksamen laster eleven ned LMStudio hos https://lmstudio.ai/, installerer programmet og starter det. I programmet kan eleven laste ned en av språkmodellene som er tilgjengelig der, som for eksempel Meta Llama 3.1 8B Instruct Q4-versjonen på rundt 5GB.

Alle små språkmodeller konfabulerer lett, som vil si at de kan skrive ting som ikke stemmer med virkeligheten. Du kan derfor ikke stole på fakta den skriver, men det er ikke så viktig til det vi skal bruke den til. Under eksamen i språkfag bruker vi språkmodeller til å hjelpe til med å analysere og skrive om andre tekster, og da trenger KI-en ikke være så stø på fakta. Den må være stø på språk, og det er jo tross alt det de er trent på. En liten språkmodell kan enkelt gi deg fine tekstanalyser.

Du må også være klar over at Llama 3.1 8B ikke skriver godt norsk, verken bokmål eller nynorsk. Derfor må du be den skrive alt på engelsk, men den har ingen problemer med at utgangspunktet for analysen er på norsk. En passe ressurssterk elev har ingen problemer med å bruke det engelske svaret fra språkmodellen til å skrive en god tekst på norsk.

Eksempelet under er hentet fra eksamen i norsk for vg3 studieforberedende (passordet er Eksamen). Det er viktig at du forstår at dette er det første svaret jeg fikk. Det er altså ikke et modifisert svar eller det beste av flere forsøk. Det er det første svaret jeg fikk, og jeg forsøkte ikke å lage en god ledetekst (eller systemledetekst) heller!

Ledetekst til korsvaroppgaven

Oppgave 1 – kortsvar
Sammenlign noen sider ved form og innhold i de vedlagte diktene. Bruk eksempler fra vedleggene og relevant fagspråk.
Skriv mellom 250-300 ord.
Vedlegg:
— «Håvamål», strofe 23
— «Godnatta til alle som angrer» av Gro Dahle
«Håvamål» er et norrønt dikt der guden Odin gir menneskene råd om hvordan de best bør leve. «Godnatta til alle som angrer» er et dikt fra vår egen tid.
Svaret ditt vil bli vurdert på følgende områder:
Svar på oppgaven
– sammenligner diktene
– viser forståelse av diktene
– har eksempler og bruker relevant fagspråk
Struktur og sammenheng
Språkføring og formelle ferdigheter

[…og her klipper jeg også inn vedleggene fra eksamensoppgaven…]

Write everything in English.

Svaret tar tid å skrive uten et godt skjermkort i den bærbare PCen, men elever har rimelig god tid på eksamen.

Comparing the Forms and Contents of «Håvamål» and «Godnatta til alle som angrer»

The two poems, «Håvamål» (a Norse poem) and «Godnatta til alle som angrer» (by Gro Dahle), present distinct forms and contents. While the former is a ancient text offering guidance on how to live, the latter is a modern poem exploring themes of regret and apology.

In «Håvamål», stanza 23 describes a man who lies awake at night, troubled by heavy thoughts. He becomes tired when morning comes, only for his troubles to remain unchanged. This passage highlights the futility of worrying about one’s problems without finding solutions. In contrast, «Godnatta til alle som angrer» is a poem that encourages readers to reflect on their actions and words, acknowledging what they have done or said (or not) and considering how they can make amends.

One notable difference between the two poems lies in their tone and language. The ancient Norse text employs a more formal, didactic style, offering advice on how to live a virtuous life. In contrast, Dahle’s poem uses a more conversational tone, inviting readers to engage with their own regrets and apologies. This shift from formality to informality reflects the changing cultural context in which these poems were written.

Furthermore, while «Håvamål» focuses on offering guidance for living a good life, «Godnatta til alle som angrer» explores the human experience of regret and apology. The latter poem acknowledges that we all make mistakes and encourages readers to take responsibility for their actions, rather than simply lamenting what could have been done differently.

In conclusion, these two poems demonstrate distinct forms and contents, reflecting different cultural contexts and themes. While «Håvamål» offers ancient wisdom on how to live a virtuous life, «Godnatta til alle som angrer» invites readers to engage with their own regrets and apologies in the present moment.

Dette er ikke et dårlig svar! Nå må eleven bare skrive det om til norsk i eksamensoppgaven sin.

Ledetekst for langsvarsoppgaven (jeg valgte den første av de fire valgmulighetene)

Skriv en fagartikkel der du gjør rede for den modernistiske tradisjonen og drøfter om modernistisk litteratur kan gi unge mennesker større forståelse for hvordan det er å være menneske. Bruk eksempler fra vedleggene og relevant fagspråk.

Vedlegg:
— Knut Hamsun: “Fra det ubevisste sjeleliv”, Samtiden, 1890. Utdrag fra artikkel
— Tarjei Vesaas: “Innbying”, 1953, fra diktsamlinga Løynde eldars land
— Jon Fosse: Kvitleik – forteljing, 2023, utdrag fra roman

Svaret ditt vil bli vurdert på følgende områder:

  • Svar på oppgaven
    • gjør rede for den modernistiske tradisjonen
    • viser forståelse av de vedlagde tekstene
    • har eksempler og bruker relevant fagspråk
    • drøfter om modernistiske tekster kan gi større forståelse for hvordan det er å være menneske
  • Struktur og sammenheng
  • Språkføring og formelle ferdigheter

[…og her klipper jeg også inn vedleggene fra eksamensoppgaven…]

Write everything in English. Write a long answer.

Svaret fra språkmodellen ble slik:

The Modernist Tradition and its Relevance to Understanding Human Existence

The modernist tradition is a literary movement that emerged in the late 19th and early 20th centuries, characterized by a focus on individual experiences, subjectivity, and experimentation with form and language. This tradition sought to break away from traditional narrative structures and explore new ways of expressing human emotions, thoughts, and experiences. In this essay, we will examine the modernist tradition through the works of Knut Hamsun, Tarjei Vesaas, and Jon Fosse, and discuss how their writings can provide a deeper understanding of what it means to be human.

Knut Hamsun’s «Fra det ubevisste sjeleliv» (1890) is a seminal work in the modernist tradition. In this article, Hamsun critiques the dominant writers of his time for portraying humans on a superficial level, without delving into their inner lives and emotions. He argues that literature should focus more on the individual’s subjective experiences, rather than external events and characters. For Hamsun, the goal of literature is to explore the «hidden movements» of the human soul, the «unpredictable disorder» of feelings, and the «delicate fantasy life.»

This emphasis on subjectivity and interiority is a hallmark of modernist writing. By focusing on individual experiences and emotions, modernist writers aim to capture the complexity and uniqueness of human existence. As Hamsun notes, this approach may lead to fewer books that focus on external events and characters, but it will result in more nuanced and accurate portrayals of human life.

Tarjei Vesaas’s poetry collection «Løynde eldars land» (1953) exemplifies the modernist tradition’s emphasis on subjectivity and experimentation with form. In the poem «Innbying,» Vesaas uses imagery and metaphor to convey a sense of longing and connection with nature. The speaker addresses the moon, saying, «Vil du gje meg handa ved månens skin, Lauv du er – Under open himmel.» This opening line sets the tone for the poem, which explores the tension between freedom and confinement.

The modernist tradition’s focus on subjectivity and experimentation with form is also evident in Jon Fosse’s novel «Kvitleik – forteljing» (2023). The novel’s protagonist becomes lost in a forest after his car gets stuck in a deep ditch. As he sits in the car, he experiences a sense of panic and disorientation, which is conveyed through his inner monologue. Fosse’s use of stream-of-consciousness narration creates a sense of immediacy and intimacy, drawing the reader into the protagonist’s emotional state.

One of the key aspects of modernist writing is its rejection of traditional narrative structures. Modernist writers often experiment with form and language, creating new ways to express human experiences. In «Kvitleik – forteljing,» Fosse uses a non-linear narrative structure, jumping between different moments in time and blurring the lines between reality and fantasy.

The modernist tradition’s emphasis on subjectivity and experimentation with form can provide a deeper understanding of what it means to be human. By focusing on individual experiences and emotions, modernist writers offer a nuanced and accurate portrayal of human life. As Hamsun notes, this approach allows readers to experience the «hidden movements» of the human soul, which are often overlooked in traditional literature.

Moreover, the modernist tradition’s rejection of traditional narrative structures can be seen as a reflection of the chaos and uncertainty of modern life. Modernists writers often explore themes such as anxiety, alienation, and disorientation, which are characteristic of modern existence. By experimenting with form and language, modernist writers create a sense of fragmentation and disjointedness, mirroring the disjointed nature of human experience.

In conclusion, the modernist tradition is a literary movement that emphasizes subjectivity, experimentation with form, and a focus on individual experiences. Through the works of Knut Hamsun, Tarjei Vesaas, and Jon Fosse, we can see how this tradition provides a deeper understanding of what it means to be human. By rejecting traditional narrative structures and exploring new ways to express human emotions and thoughts, modernist writers offer a nuanced and accurate portrayal of human life.

The relevance of the modernist tradition to contemporary society is also worth noting. In an age where individuals are increasingly exposed to fragmented and disjointed information, modernist writing can provide a much-needed respite from the chaos of modern life. By focusing on individual experiences and emotions, modernist writers offer a sense of intimacy and connection with others, which is often lacking in contemporary society.

In conclusion, the modernist tradition’s emphasis on subjectivity, experimentation with form, and focus on individual experiences makes it a crucial literary movement for understanding human existence. Through its rejection of traditional narrative structures and exploration of new ways to express human emotions and thoughts, modernist writing offers a nuanced and accurate portrayal of human life. As we continue to navigate the complexities of modern society, the modernist tradition’s emphasis on subjectivity and experimentation with form can provide a much-needed respite from the chaos of contemporary life.

Dette er heller ikke dårlig, selv om det ikke er et bra svar. Her får du en del klassisk KI-skriving (som jeg har vært inne på før i bloggen). Svaret er for kort, hvert avsnitt henger innholdsmessig for seg selv, den bare tilsynelatende svarer på oppgaven og det er overhode ingen drøfting. KI-er er ikke i stand til å drøfte situasjoner den ikke har trent på. De har ikke en plan før de begynner å skrive. Jeg har testet både OpenAI o1-preview og nye Anthropic Claude 3.5 Sonnet, og de får heller ikke til denne oppgaven godt. Dette er et fint eksempel på en anti-KI-oppgave hvor Udir gjør en god jobb med å koble tekster som ikke har vært koblet til situasjoner som nok ikke ligger i tekstmaterialet til KI-en. Men husk at dette er første forsøk! Jeg kunne laget en bedre ledetekst, jeg kan la meg inspirere av det den har skrevet (fordi det er gode poeng underveis i teksten) og jeg kan be den om å justere ting den har skrevet. Uansett – første forsøk står på eksamen!

Selvfølgelig er dette fusk på en eksamen, men det er noe mange elever enkelt kan gjøre – og det er mer eller mindre umulig å stoppe uten programmer som tar total kontroll over elevens maskin under eksamenssituasjonen.

Eksamen i engelsk? Da slipper eleven til og med å oversette til norsk. Koding på eksamen i matematikk? Ingen problem. Llama 3.1 8B er en glimrende koder.

Dette er problemet skolenorge bør forberede seg på til mai 2025. Det er allerede kommet enda mindre modeller, som Llama 3.2 3B, og innen mai 2025 er det garantert kommet enda bedre varianter som kjører mer effektivt på en helt ordinær bærbar PC enn de allerede gjør i dag.

Hvis jeg skal slenge rundt noen spydigheter kan jeg berolige Udir med at det bare er de ressurssterke elevene som kommer til å gjøre dette, ikke alle. Så dere trenger ikke, ut fra hvordan dere tenker om forberedelsesdelen, gjøre noe med det.

Løsningen? Vel, vil du gå fremover eller bakover? Du kan låse ned maskinen med SafeExamBrowser. Da må Udir utvikle en nettbasert eksamensløsning hvor elevene kan skrive hele eksamen, og du får et teknisk mareritt når alle eleveide maskiner må virke med denne løsningen på eksamensdagen. Du kan gå tilbake til penn og (karbon)papir, og virkelig kjenne at nå er du i kontakt med sanser og følelser – og fortiden. Eller du kan gi opp ideen om dagens eksamensordning og erklære den utdatert, fordi verden har utviklet seg videre til et sted denne eksamensformen er meningsløs. Det finnes andre måter å måle elevers kompetanse i språk og skriving enn gjennom dagens eksamensordning. Du får ingen premie om du tipper riktig om hva jeg mener er veien videre.


Publisert

i

,

av

Kommentarer

4 kommentarer til “Det Udir burde bekymre seg for”

  1. Johannes Nag avatar
    Johannes Nag

    Kanskje skjermopptak/overvåking er tingen? Normistral-7b-warm-instrukt har vel brukbar norsk også – og med en copilotmaskin går det som smurt…

  2. Petter Bjellås avatar
    Petter Bjellås

    Kvifor blir det ikkje brukt programvare for skriving som låser pc-en? Wiseflow og Inspera blir brukt ved universiteta, og dei gjer det umogleg for studentane å bruke andre program i prøvetida.

    1. Odin avatar

      Det er et godt spørsmål. Jeg tror det er knyttet til at det medfører en god del tekniske utfordringer, mye testing og rot på eksamensdagen. Det er vanskeligere å kreve av elever i VGS at de er juridisk ansvarlig for å klare å gjennomføre eksamen enn det er å kreve det av studenter i UH.

  3. Bjørn Christian Borg avatar
    Bjørn Christian Borg

    Innertier!
    UDIR bør være mer enn litt bekymret for dette, og de kan virkelig ikke mene at det skal være opp til elevens moralske kompass å ikke nytte seg av muligheten slik at myndigheter ikke behøver å forholde seg til problematikken. Som samfunn bevilger vi en god slump midler til politietaten nettopp fordi vi er realistiske i forhold til hva folk gjør og ikke gjør….
    Jeg skjønner at det å endre konseptet skriftlig skoleeksamen ikke er gjort over natta, men det var ikke i forrige uke språkmodeller ble tilgjengelige for folk flest….

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *

Dette nettstedet bruker Akismet for å redusere spam. Lær om hvordan dine kommentar-data prosesseres.