GDPR kom i 2018, og nå rulles AI Act ut sakte – men sikkert. AI Act, også kalt KI-forordningen, er et annet beist enn GDPR, og det er noen viktige forskjeller jeg tenker at det er greit at jeg klarer opp i mitt eget hode – og det gjør jeg best med å skrive om det (til deg).
Så – hva er AI Act? Det er EUs nye lovverk som regulerer bruken av kunstig intelligens. Allerede her tenker jeg at det er viktig å si at prateroboter/språkmodeller bare er én type KI, og at AI Act regulerer KI-teknologi generelt i alle dets pussige former. Måten man gjør det på er å ha en risikobasert tilnærming – jo større risiko KI-systemet utgjør for menneskers helse, sikkerhet og grunnleggende rettigheter, desto strengere regler.
Dette er delt inn i fire ulike nivået, pluss et eget område for store språkmodeller (som må være av en visse størrelse for å regnes som store).
- Uakseptabel risiko – Slike systemer er forbudt, for eksempel sosial poenggiving, biometrisk masseovervåking og underbevisst (subliminal) manipulering.
- Høy risiko – KI brukt på sensitive områder, for eksempel saksbehandling av velferdsytelser, rekruttering, utdanning (tenk vurdering). Dette krever streng risikostyring, feilfrie data (i betydningen at feil en oppdager skal rettes), menneskelig tilsyn og CE-merking før bruk.
- Begrenset risiko – KI som samhandler med mennesker (prateroboter) eller genererer innhold (tenkt deepfakes). Dette krever åpenhet og merking slik at brukerne vet at de snakker med/ser på KI.
- Minimal/ingen risiko – Dette er «vanlige» algoritmer, som spamfiltre, anbefalingsmotorer og så videre. Det er ingen spesifikke lovkrav knyttet til dette.
- Og så – GPAI (generelle KI-modeller) – GPAI er de store «foundational» KI-ene som Gemini, Claude og GPT. Disse må følge egne krav om transparens, overholdelse av europeisk opphavsrett og, for de aller kraftigste, testing for systemisk samfunnsrisiko. Det er egne kriterier knyttet til hva som defineres som en GPAI.
Men… dette er ikke GDPR. Det er vesentlige forskjellig i hvordan AI Act og GDPR «virker» for oss i en kommune (eller bedrift). Der GDPR har til hensikt å beskytte personopplysninger, skal AI Act regulere selve KI-teknologien og hva den brukes til. Med GDPR er kommunen behandlingsansvarlig med et totalt ansvar for at personopplysninger behandles lovlig. Kommunen kan be en leverandør handle på instruks fra dem, som en databehandler, men det er uansett kommunen som har ansvar om leverandører tuller det til. Under AI Act er kommunen en idriftsetter (deployer) og har bare ansvar for bruken, ikke å bygge eller godkjenne teknologien. Leverandøren av KI-løsningen er en tilbyder (provider) og har ansvar for at alle lovkrav er oppfylt før de får lov til å tilby løsningen.
Så når et firma utvikler og selger et målrettet KI-system – for eksempel et (høyrisiko)system for å vurdere dysleksi hos skolebarn, eller et verktøy for å filtrere jobbsøkere – er de juridisk definert som tilbyder. Det er tilbyderen som har det vi kan kalle «produktansvaret». Før de i det hele tatt har lov til å selge systemet til kommunen, er det firmaets ansvar å dokumentere og garantere at:
- Treningsdataene er feilfrie og representative.
- Systemet har et innebygd risikostyringssystem.
- Den tekniske dokumentasjonen er komplett.
- Systemet er robust og nøyaktig.
- Systemet har vært gjennom en formell samsvarsvurdering og er lovlig CE-merket.
Hvis det i ettertid viser seg at systemet diskriminerer fordi det ble trent på dårlige data, er det firmaet som selger det som bryter KI-forordningen og risikerer sanksjoner fra tilsynsmyndighetene – ikke kommunen som idriftsetter.
Når en kommune kjøper inn og tar i bruk dette ferdige systemet, er kommunen definert som idriftsetter. Da slipper kommunen å dokumentere hvordan teknologien er bygget opp, men har et strengt brukeransvar.
Som idriftssetter av et innkjøpt og tenkt høyrisiko KI-system, er dette kommunens lovpålagte ansvar under AI Act:
- Følge bruksanvisningen – Kommunen må bruke systemet nøyaktig slik tilbyderen har beskrevet.
- Menneskelig tilsyn – Kommunen må sikre at de ansatte som bruker systemet har kompetanse til å forstå det, overvåke det, og overstyre det hvis det gjør feil.
- Informasjonsplikt – Kommunen må opplyse innbyggerne (for eksempel elever eller jobbsøkere) om at de er gjenstand for en vurdering gjort med hjelp av KI.
- FRIA (Vurdering av grunnleggende rettigheter) – Fordi kommunen er et offentlig organ, innfører AI Act et særskilt krav om at kommunen må gjennomføre en konsekvensvurdering av hvordan bruken av systemet vil påvirke innbyggernes grunnleggende rettigheter før kommunen tar det i bruk. (Dette kommer i tillegg til DPIA etter GDPR).
- Logging – Hvis systemet genererer logger automatisk, må kommunen sørge for å oppbevare disse trygt, slik at det er mulig å spore feil i etterkant.
Dette er for et tenkt høyrisikosystem. Hvis det er begrenset eller minimal/ingen risiko, så er det helt andre krav – som jeg snart kommer tilbake til i et eksempel fra skolen.
Men… hva er det som gjelder med disse GPAI-greiene? Jo, husk at alt frem til nå handler om KI generelt – altså alle KI-systemer som måtte lages av noen til ett eller annet formål. Men hva gjør vi med disse digre modellene som kan «alt»? Her kommer snadderet. Det er EU-kontoret AI Office som tar ansvar for akkurat disse. Det er de som passer på og godkjenner «foundational models» til bruk i EU-området. Igjen er poenget – vi som kommune trenger ikke vurdere om vi har lov til å bruke språkmodellene til Google, Anthropoc, Meta eller OpenAI. Vi får beskjed av EU hva som er lov å bruke. De gjør jobben for oss – som mange av oss lenge har ønsket kunne skjedd med GDPR også (jeg vet ikke helt om jeg er en av oss der).
Dette er jo direkte behagelig, men ting kan lett endre seg.
Hva om kommunen utvikler et eget KI-system for vurdering av elever? Da endrer kommunen juridisk status under AI Act og går fra å være en idriftsetter til å blir en tilbyder (til seg selv). Som tilbyder av et høyrisikosystem treffer hele tyngden av AI Act kommunen direkte. Før systemet i det hele tatt kan rulles ut i klasserommene, er det kommunen som må utføre og dokumentere følgende:
- Datastyring og datakvalitet – Kommunen må kunne bevise svart på hvitt at dataene systemet er trent på (for eksempel elevdata, prøveresultater eller historiske vurderinger) er relevante, representative og så feilfrie som mulig. Dette er for å garantere at systemet ikke har innebygde skjevheter som kan diskriminere enkelte elevgrupper.
- Risikostyring og teknisk dokumentasjon – Kommunen må etablere et kontinuerlig risikostyringssystem og skrive en detaljert teknisk dokumentasjon som forklarer nøyaktig hvordan modellen er bygget og fungerer.
- Samsvarsvurdering og CE-merking – Kommunen må selv gjennomføre (eller i noen tilfeller leie inn en uavhengig tredjepart til å gjennomføre) en formell vurdering som bekrefter at systemet oppfyller alle lovkravene. Deretter må kommunen CE-merke systemet og registrere det i en offentlig EU-database.
Vil du det? Antakeligvis ikke.
Men hva om kommunen bruker API-ene til de store tek-tilbyderne? Selv om kommunen bygger skole-KI-en ved å bruke «motoren» til for eksempel OpenAI eller Google, blir kommunen fortsatt ansett som tilbyder av det spesifikke høyrisikosystemet den har satt sammen for skolen. Teknologigiganten har bare ansvar for selve motoren (GPAI-modellen), mens kommunen har det fulle ansvaret for hvordan denne motoren er tilpasset, fintrent og brukt i den spesifikke høyrisikoløsningen. Og bare for å repetere – om kommunen kjøper et ferdig, spesifikt KI-system (som ikke er GPAI) fra en ekstern leverandør, går man tilbake til den «trygge» rollefordelingen. I dette scenarioet er det firmaet som selger systemet som har det tyngste juridiske ansvaret for selve teknologien, ikke kommunen.
Og her er kanskje den største hodepinen for EdTech-bransjen akkurat nå. AI Act ble i stor grad skrevet med tanke på tradisjonell, mer «regelstyrt» maskinlæring hvor man har full kontroll på inn- og utdata – ikke generelle språkmodeller. Å bygge et høyrisikosystem på toppen av en GPAI skaper en massiv krasj mellom jussen og teknologien. Loven krever blant annet feilfrie treningsdata, konsistent nøyaktighet, detaljert teknisk dokumentasjon, komplett risikostyring og effektivt menneskelig tilsyn – men når fundamentet er en probabilistisk «svart boks» som konfabulerer, som er trent på milliarder av ukjente tekster fra internett, og som kan lures via «prompt injection», blir disse kravene nærmest umulige å innfri. I praksis betyr det at selskaper som vil bygge høyrisikosystemer for skolen sjelden kan koble seg rett på en ren GPAI-modell og selge det. De må bygge massive beskyttelseslag rundt modellen, for eksempel med RAG hvor modellen tvinges til å slå opp i et forhåndsdefinert faktagrunnlag før den svarer, stramme databehandleravtaler med GPAI-leverandøren, og kraftig begrenset funksjonalitet slik at maskinen ikke har rom til å «tenke fritt». Uansett – det blir ikke lett, og ansvaret ligger på de som lager tjenesten – ikke kommunen. Det siste der er behagelig for kommunen, og veldig annerledes enn GDPR.
Og jeg har en ting til som folk må være klar over med KI-verktøy som mener noe om elever gjøren og laden. Så lenge de er rettet mot lærer, så er de høyrisiko uansett! Dette på grunn av en setning i Annex III 3b), som definerer hva høyrisiko er (min utheving):
AI systems intended to be used to evaluate learning outcomes, including when those outcomes are used to steer the learning process of natural persons in educational and vocational training institutions at all levels;
Samtidig – det er én stor felle her som kommunen må være svært bevisst på når den kjøper inn systemer. En kommune «forvandles» fra idriftsetter til tilbyder (og overtar hele ansvaret for CE-merking, feilfrie data osv.) hvis den gjør én av de følgende handlingene:
- Endrer formålet – Hvis kommunen kjøper et KI-system som er CE-merket for å analysere fraværsstatistikk, men begynner å bruke det til å vurdere elevers faglige nivå, har man endret det tiltenkte formålet.
- Gjør vesentlige endringer – Hvis kommunens IT-avdeling går inn og modifiserer kildekoden eller legger til helt nye funksjoner i systemet kommunen kjøpte.
- Gjør det til sitt produkt (White labeling) – Hvis kommunen kjøper et system og markedsfører det utad under kommunens eget navn og varemerke, som om man har laget det selv.
Så lenge kommunen kjøper et ferdig system, bruker det til det formålet det er bygget for, og følger leverandørens retningslinjer, er det teknologileverandøren som må ta regningen og ansvaret for at «motoren» i systemet er lovlig bygget.
Tilbake til den konkrete skolehverdagen.
Hva skjer hvis jeg setter opp min egen praterobot for elever med en egen språkmodell som kjører på min egen tjener? (Hm… har jeg gjort det?!) Det er jo en gullstandard for å ha kontroll på personopplysninger og vite hva som skjer. Hvis jeg setter opp dette som en generell assistent (og ikke for å sette karakterer, vurdere fravær eller slike ting), er AI Act faktisk veldig overkommelig. Da har jeg laget et system, ikke en GPAI-modell. Selv om jeg setter opp grensesnittet og tilbyr tjenesten, blir jeg ikke ansett som tilbyder av selve GPAI-modellen (for eksempel Gemma 4). Det er det fortsatt Google som er. Det betyr at jeg slipper GPAI-kravene om å dokumentere treningsdata, opphavsrett og modell-arkitektur.
Jeg blir derimot ansett som tilbyder av et kategorisert KI-system med begrenset risiko. Siden jeg bare tilbyr en praterobot til elevene, og den ikke brukes til høyrisikooppgaver, er KI-forordningens krav snille. Det er åpenhetskravet, hvor jeg må dokumentere og implementere tydelig informasjon i løsningen slik at elevene vet at de snakker med en kunstig intelligens, og ikke et menneske. Det er ingen krav om CE-merking eller krav om feilfrie data. AI Act krever ikke at jeg må bevise at Gemma sine treningsdata er plettfrie.
Selvfølgelig har kommunen fremdeles ansvar for å forhåndsvurdere om en KI-tjeneste levert av en leverandører lever opp til kravene i GDPR, men det handler ikke om selve KI-en eller AI Act.
Samtidig tror jeg AI Act kommer til å «ødelegge» en del for oss i Europa. Jeg tror det er sannsynlig at EU og USA får ulike versjoner av de store GPAI-modellene – også for kommuner som bygger egne tjenester via API-er. Dette fenomenet kalles regulatorisk fragmentering. Dette tror jeg skjer fordi AI Act stiller så ekstremt strenge krav til de som utvikler fundamentmodellene. De må dokumentere at treningsdataene ikke bryter med europeisk opphavsrett, og de må bevise at modellene er stresstestet mot «systemiske risikoer» (som spredning av desinformasjon eller farlig kode).
I praksis betyr dette at for å unngå gigantiske bøter fra det europeiske KI-kontoret, kan tilbydere som Google, OpenAI og Microsoft velge å…
- …legge inn harde filter – API-ene som tilbys i Europa kan nekte å generere visse typer tekst, bilder eller kode som er tillatt i amerikanske versjoner. For dere som vet hva jeg nå skriver – tenk deg at moderasjonen i Azure GPT er skrudd opp til 11, uten at du kan gjøre noe med det.
- …tilby en under pari KI på grunn av trening på «rene» data – Tilby egne EU-modeller som utelukkende er trent på lisensiert eller åpent materiale for å være på den sikre siden juridisk, men som er markert dårligere enn USA-modellene.
- …forsinke lanseringer – Selskapene vil ofte lansere ny funksjonalitet i USA først, mens europeiske brukere (og kommuner) må vente i månedsvis mens modellene tilpasses for å bli «EU-lovlige». Dette har allerede skjedd da Meta nektet å lansere de nyeste multimodale modellene sine for land i Europa.
Resultatet er at norske kommuner ikke alltid kan forvente at KI-verktøyene de kjøper inn eller bygger på, har nøyaktig samme funksjonalitet eller kraft som de versjonene man leser om i internasjonale medier. Og hvis du får tilgang til API-er som blir brukt i USA, så gjør du faktisk noe ulovlig!
Noen kommentarer på egne ting i etterkant…
Det som jeg gjør på https://cc.tenkemotoren.no/tilbakemelding-pa-en-oppgave/ er en begrenset risiko, fordi det er eleven som bruker den. Lærer lar seg ikke styre av dette i den videre opplæringen. Hadde det vært læreren som brukte akkurat dette verktøyet ville det være høy risiko, jamfør Annex III.
Verktøyet til læreren på https://cc.tenkemotoren.no/laererens-tilbakemelding/ er begrenset risiko. Det blir blir gjort er ikke en vurdering utført av KI-en, jamfør et lovlig unntak i artikkel 6 3d) hvor «the AI system is intended to improve the result of a previously completed human activity». Spørsmålet er om det må vurderes som høyrisiko etter Annex III med unntak etter artikkel 6 3d) eller ikke. Dette betyr noe i forhold til om systemet må registreres hos EU og nasjonale myndigheter eller ikke. Jeg tror det må det…
Legg igjen en kommentar