I diskusjonen om ulike varianter av språkmodeller dukker ofte spørsmålet om hva det koster opp. Dette gjelder både chatboter levert av ulike firma og når skoler/kommuner velger å sette opp sin egen tjeneste for lærere og elever (og andre). Jeg har jo unektelig holdt på med dette en stund nå og tenkte at jeg kunne oppsummere noe av det for dem som digger å lese det, og så har jeg et sted hvor jeg kan peke folk videre om de lurer.
Det kan godt hende jeg oppdaterer dette innlegget i ny og ned
Tjenesten ChatGPT fra OpenAI er i utgangspunktet gratis, men da får du bare tilgang til gpt-35-turbo. Hvis du betaler $20+mva i måneden får du ChatGPT Pro som gir deg tilgang til gpt-4-turbo (og gpt-4-vision). Det alle ikke er klar over er at du får ikke lov til å bruke gpt-4-turbo så mye du vil. OpenAI har alltid hatt en begrensning, fordi gpt-4-turbo er dyrt å holde i drift. Per dags dato er begrensninger 40 meldinger per 3 timer, så i det du prøver deg på melding 41 får du beskjed om at du har gått over kvoten din og må vente x minutter før du kan prøve igjen. Antallet meldinger per antall timer har variert siden gpt-4 kom, men den har alltid vært der. Så i dag kan du maks snakke 320 ganger med gpt-4-turbo i løpet av et døgn, eller rundt 9 600 ganger i måneden. Og det betaler du $20 for å få lov til å gjøre. Betaler du for ChatGPT for Teams får du mer tilgang til alle modellene OpenAI tilbyr, men da må du ut med $30 i måneden.
Tjenesten Perplexity har også grenser. Kjøper du Pro-utgaven til $20 måneden er grensen for tiden 600+ meldinger per døgn. Da kan du velge om det skal være Claude 2.1, Gemini Pro, gpt-4-turbo eller Perplexitys egen tilpasning av Llama 2 70B som skal skrive til deg. Men det er uansett en grense på godsakene.
Om jeg ikke husker feil har også Bing Chat en grense på 300 meldinger i løpet av døgnet. Google Bard hadde tidligere i år en grense på 200 meldinger per time, men de enda i en fase hvor de vil samle inn mye informasjon om bruken (og ledetekst med svar!).
Grunnen til dette er at ting koster, og at de ulike firmaene ikke har råd til at vi enkeltpersoner går bananas og bruker tjenestene de tilbyr hele tiden hele døgnet. Ikke det at alle gjør det, men det hadde vært ille nok om en liten prosentdel gjorde det. La meg vise hvordan…
Det er nemlig mulig å få så mye gpt-4-turbo som du bare vil. Da må du lage din egen chatbot, som ikke er vanskelig, og så må du få deg en konto hos OpenAI hvor du betaler per 1 000 stavelse som gpt-4-turbo må lese og skrive. Her er det ingen begrensninger for deg som enkeltindivid, men det er rammer som er satt opp med tanke på at mange mennesker skal bruke denne tjenesten samtidig som f.eks. at du ikke kan sende mer enn 10 000 meldinger per minutt eller jobbe med mer enn 450 000 stavelser per minutt. Uansett, du som enkeltindivid har her en kilde til så mange meldinger du klarer å betale for, fordi betale må du.
gpt-4-turbo-modellen kan maks lese 128 000 stavelser og skrive 4096 stavelser i en ledetekst med svar, og det koster i dag $0.01 å lese 1 000 stavelser og $0.03 for å skrive 1 000 stavelser. Det gir en teoretisk makspris på $1.28 + $0.12 = $1.40 for en ledetekst med 128 000 stavelser som gir et svar på 4096 stavelser, altså nesten kr 15 for én melding. Dette er naturligvis ikke en vanlig melding, men det er ikke uvanlig at etter hvert som en samtale blir lenger og lenger blir det flere og flere stavelser i ledeteksten (for husk at all tekst i samtalen blir med hver gang du sender en ny ledetekst til språkmodellen).
Etter erfaringer med bruk av KI i Randabergskolen, og andre tjenester jeg har vært med å sette opp, har jeg funnet noen gjennomsnittssummer som forteller en del om hva dette faktisk koster i praksis. Hvis du bare bruker gpt-4-turbo kommer det i snitt til å koste deg kr 0,40 per melding. Så hvis du skriver 320 meldinger i løpet at ett døgn koster det deg kr 128. Og dette var gjennomsnittspris før det var mulig å legge inn 128 000 stavelser i ledeteksten. Nå er det mulig å legge inn artikler o.l. som en del av ledeteksten, og det gjør at snittprisen stiger raskt om folk gjør det – og det gjør de.
Nå regner jeg med du skjønner hvorfor OpenAI har satt en grense på 320 meldinger i døgnet for en månedspris på $20. De prøver å få dette til å gå opp i ett eller annet snitt som gjør det lønnsomt for dem ut fra hvordan brukere bruker tjenesten.
Dette er selvfølgelig også forklaringen på hvorfor skoler og kommuner ikke tilbyr gpt-4 til elever og lærere sånn helt uten videre. Dette er dyrt.
gpt-35-turbo er er ikke gratis om du har satt opp din egen chatbot som bruker OpenAI sine tjenester. Da er prisen $0.001 for å lese 1 000 stavelser og $0.002 for å skrive 1 00 stavelser. En maksmelding koster da i underkant av kr 1,50. Det er en helt annen pris og noe som er helt uproblematisk å betale for.
Legg igjen en kommentar