AI-forordningen - indhold, krav og konsekvenser for uddannelsessystemet

I denne artikel vil vi kort komme ind på AI-forordningen, og hvad den muligvis vil komme til at betyde for undervisningen. Inden vi når så langt, vil vi gøre det klart, at vi ikke er jurister eller eksperter inden for området. Vi bruger lang tid på at skrive vores tekster, men der kan snige sig fejl ind, og i det her tilfælde, skriver vi om en lovgivning, som endnu ikke er endeligt vedtaget. Derudover ændres selve forslaget til AI-forordningen sig også hele tiden (senest 11. maj 2023), og denne artikel opdateres ikke, hver gang der sker ændringer.

National strategi for kunstig intelligens

Allerede i 2019 undersøgte Danmark de nye muligheder og udfordringer med kunstig intelligens i rapporten National strategi for kunstig intelligens.

Heri defineres fire hovedområder:

1. Danmark skal have et fælles etisk grundlag for kunstig intelligens med mennesket i centrum.
2. Danske forskere skal forske i og udvikle kunstig intelligens.
3. Danske virksomheder skal opnå vækst ved at udvikle og anvende kunstig intelligens.
4. Den offentlige sektor skal anvende kunstig intelligens til at tilbyde service i verdensklasse.

Spørgsmålet er imidlertid, hvordan man kan sikre sige en forsvarlig brug af kunstig intelligens?

Hvad er AI-forordningen?

AI-forordningen er en kommende EU-forordning, som skal regulere kunstig intelligens i alle EU-medlemslande. (En forordning er en lov, der er direkte gældende i alle EU's medlemslande, uden forudgående indarbejdelse i nationale love.) Forordningen blev foreslået 21. april 2021, og der forhandles stadig om indholdet - dog er man kommet tættere på en endelig tekst d. 11. maj 2023, hvor Europa-Parlamentets udvalg godkendte et udkast.

D. 14. juni 2023 stemte medlemmerne af parlamentet for forslaget, og forordningen kan nu forhandles på plads med EU-Rådet og EU-kommissionen (i såkaldte trilogforhandlinger). Der arbejdes på en endelig vedtagelse i slutningen af 2023 eller starten af 2024.

Forordningen er lavet som et risikobaseret system med fire niveauer: Uacceptabel risiko, høj risiko, begrænset risiko og minimal risiko, og den består lige nu af syv afsnit , indeholdende 85 artikler og ni bilag. I denne artikel vil vi ikke gennemgå hele forordningen, men (næsten) kun se på de dele som, vi tror, får indflydelse på undervisning.

Definitionen på et kunstig intelligens system

For overhovedet at kunne snakke om risici ved kunstig intelligens, er det vigtigt at definere hvad vi overhovedet forstår ved et sådant system. EU har defineret et kunstigt intelligens system i forordningens lovtekst på denne måde:

Eftersom forordningen skrives på engelsk og først endeligt oversættes til forskellige sprog, når den er vedtaget, er den engelske udgave af definitionen vist her, for at minimere usikkerhed om oversættelsens rigtighed. Det oprindelige kommissionsforslag fra 2021 findes også på dansk.

"Artificial intelligence system" (AI system) means a system that is designed to operate with elements of autonomy and that, based on machine and/or human-provided data and inputs, infers how to achieve a given set of objectives using machine learning and/or logic- and knowledge based approaches, and produces system-generated outputs such as content (generative AI systems), predictions, recommendations or decisions, influencing the environments with which the AI system interacts.

Det er en temmelig bred definition af kunstig intelligens, og den kommer derfor til at påvirke mange systemer.

Regulering af risiko ved AI-systemer

AI-forordningen er lavet som et risikobaseret system med 4 niveauer.

Forbudte AI-systemer

Det højeste niveau er forbudte AI-systemer, som er beskrevet i artikel 5. I denne kategori ligger systemer der systemer der:

• udnytter menneskelig bevidsthed som f.eks. fordreje adfærd eller påføre personen fysisk eller psykisk skade.
• udnytter menneskers sårbarheder pga. alder eller fysisk/psykisk handikap.
• evaluering eller klassificering af personers troværdighed på grundlag af social adfærd eller forudsagte personlige egenskaber eller træk, som fører til ugunstig eller skadelig behandling af personerne.
• Biometrisk fjern-identifikation i realtid med henblik på retshåndhævelse (dog med undtagelser).
• vilkårlig indsamling af biometriske data fra sociale medier eller TV-overvågningsoptagelser med henblik på at oprette ansigtsgenkendelsesdatabaser.
• genkendelse af følelser hos fysiske personer i forbindelse med følgende områder; retshåndhævelse, grænsekontrol, på arbejdspladser og i uddannelsesinstitutioner
• politiarbejde (baseret på profilering, lokalitet eller tidligere kriminel adfærd)

De sidste 3 punkter er tilføjet 11. maj 2023, ved et ændringsforslag.

Højrisiko-AI-systemer

Det næste niveau er højrisiko-AI-systemer, som er beskrevet i artikel 6 og bilag 3. Her findes en lang række AI-systemer som f.eks systemer til:

• kritisk infrastruktur
• jobrekruttering og forfremmelse
• kreditvurderinger
• livsforsikringer
• offentlige sociale ydelser og tjeneste
• visse AI-systemer til undervisning

I Bilag 3 står der følgende om undervisning:

(a)AI systems intended to be used for the purpose of determining access or assigning natural persons to educational and vocational training institutions;

(b)AI systems intended to be used for the purpose of assessing students in educational and vocational training institutions and for assessing participants in tests commonly required for admission to educational institutions.

I en dansk oversættelse af forslaget til forordningen, fortolkes dette sådan:

AI-systemer, der anvendes inden for uddannelse eller erhvervsuddannelse, navnlig til optagelse eller fordeling af personer på uddannelsesinstitutioner eller til at evaluere personer i forbindelse med prøver som en del af eller som en forudsætning for deres uddannelse, bør betragtes som højrisikosystemer, da de kan afgøre menneskers uddannelsesmæssige og arbejdsmæssige livsforløb og dermed påvirke deres evne til at sikre sig et livsgrundlag. Hvis sådanne systemer udformes og anvendes forkert, kan de krænke retten til uddannelse og retten til ikke at blive forskelsbehandlet samt opretholde historiske diskriminationsmønstre.

Højrisiko-AI-systemer underlægges mange strenge krav, for at være lovlige. Det inkluderer bl.a. krav om risikostyringssystemer, test af systemet, data- og datastyring, teknisk dokumentation, CE-mærkning, registrering af systemet i EU-database, opbevaring af logfiler, gennemsigtighed og formidling af oplysninger til brugeren, menneskeligt tilsyn samt nøjagtighed, robusthed og cybersikkerhed. Alle disse mange krav er beskrevet i artiklerne 8-15 i forordningen og stiller store krav til udbyderne (providers) af systemerne. Derudover skal der tages særlige hensyn til risikostyringen, hvis det kan forventes, at højrisiko-AI-systemer vil blive brugt eller have en ”impact” på børn under 18 år.

Der er også krav til brugerne af høj-risiko systemer. Brugerne skal:

• anvende højrisiko-AI-systemet i overensstemmelse med brugsanvisningen
• sikre relevante input-data som passer til formålet med systemet
• overvåge driften af systemet på grundlag af brugsanvisningen
• opbevare logfiler, hvis de er under brugernes kontrol
• udarbejde en konsekvensanalyse vedrørende databeskyttelse.

Begrænset risiko

Det tredje niveau i risiko-systemet er begrænset risiko, hvor ting som chatbots, deep-fakes og følelses-genkendelse nævnes. Disse systemer er også underlagt regler, som dog ikke er så strenge som højrisiko-systemerne. Det skal f.eks. være tydeligt for brugere at vide, at de interagerer med en maskine, og det skal for systemer der genererer video, lyd eller billeder der ligner virkelige objekter (f.eks. deep-fakes), oplyses om at indholdet er blevet genereret kunstigt eller manipuleret.

Minimal risiko

Fjerde niveau er minimal risiko. Her findes ting som spamfiltre og computerspil, og dette niveau er ikke så interessant når vi snakker undervisning. Et eksempel kunne være et computerspil hvor man interagerer med AI-beriget personer i handlingen, eller at baner bliver genereret af kunstig intelligens. Ifølge AI-forordningen bliver der ikke indført krav for systemer indenfor dette risiko niveau, men der er mulighed for at tilslutte sig reglerne frivilligt.

Foundations-modeller og general purpose systemer

Der er 11. maj tilføjet en interessant ting ved et ændringsforslag, nemlig definitionen af en "Foundations-model":

En AI-model, der er trænet på omfattende data i stor skala, er designet med henblik på alsidighed i output og kan tilpasses til en bred vifte af specifikke opgaver.

Sådan en Foundations-model skal ifølge forslaget underlægges krav om at det grundlæggende datasæt skal underlægges passende foranstaltninger, der undersøger og evt. afbøder datakildernes egnethed og evt. bias.

Der ønskes også defineret et "general purpose system" som er:

AI-systemer, der kan anvendes i og tilpasses til en bred vifte af anvendelsesområder, som det ikke bevidst og specifikt var tiltænkt.

Det vil sige AI-systemer, der kan bruges i mange forskellige situationer, selvom de oprindeligt ikke var designet specifikt til dem. Disse ”general purpose” AI-systemer bliver med ændringsforslaget underlagt krav om gennemsigtighed, og udbyderen af disse systemer skal træne, designe og udvikle foundation modellen (som ligger til grund for systemet) på en sådan måde, at der sikres tilstrækkelige garantier mod, at der genereres indhold, der er i strid med EU-love. Endeligt skal disse udbydere dokumentere og offentliggøre et tilstrækkeligt detaljeret resumé af brugen af træningsdata, der er beskyttet i henhold til ophavsretslovgivningen.

Sådanne systemer vil f.eks. ChatGPT, Google Bard, Midjourney, Dall-E og andre generative AI-systemer høre ind under!

Disse nye tilføjelser fik Sam Altman fra OpenAI til at udtale, at de var klar til at trække ChatGPT ud af EU, hvis ikke det kunne lade sig gøre at komme i mål med alle krav. Han har dog senere trukket lidt i land, og siger nu at de vil gøre hvad de kan, for at kunne efterleve kravene fra EU.

Forordningen finder anvendelse på udbydere, der omsætter eller ibrugtager AI-systemer i EU, uanset om samme udbydere er etableret i EU eller et tredjeland. Det vil sige, at f.eks. et amerikansk firma ikke "bare" kan lave et datterselskab i EU for at slippe nemmere.

Hvad vil AI-forordningen komme til at betyde for brugen af kunstig intelligens i undervisning?

Når vi vil bruge kunstig intelligens i forbindelse med undervisningen, skal vi selvfølgelig overholde AI-forordningen - men også GDPR-lovgivningen. Der er nogle krav til os som brugere vi skal overholde, hvis vi benytter høj-risiko systemer, men det er mere spørgsmålet om det overhovedet bliver muligt at anvende sådanne systemer til undervisning pga. de krav der stilles til dem.

Høj-risiko AI-systemer i uddannelse

Her vil vi nævne nogle af de systemer som vil falde ind under kategorien, høj-risiko systemer.

• et AI-system der bruges til at bestemme eller tildele adgang til uddannelser.
• evaluering af personer i en test
• automatisk bedømmelse af elever
• forudsigelser om hvilke elever der vil droppe ud

Man vil dog kunne lave sådanne systemer, men de vil kræve at producenten efterlever en lang række strenge regler.

Eksempel på et højrisikosystem

Nedenstående eksemple har vi fået lov at videregive af Professor, dr. jur., Henrik Palmer Olsen fra Det Juridiske Fakultet, Københavns Universitet. Eksemplet er blevet anvendt på Djøf-kurset: AI-forordningen i praksis. Udgangspunktet er et hypotetisk eksempel der er inspireret af nogle hollandske universiteter der under covid-19 pandemien stillede krav til overvågning af studerende i forbindelse med hjemmeeksaminer.

Inden vi dykker ned i hvordan AI-forordningen kategoriserer ovenstående eksempel, er der en teknisk udfordring med eksemplet.

Teknologisk er det vigtigt at WSU's system er pålideligt og at der ikke kommer falske positive eller negative svar. Og her er den første udfordring, for hvordan laver man et it-system der ikke tager fejl? Fx kunne man forstille sig at en studerende kikker væk fra skærmen for at tænke, men at adfærdsanalysen vil betegne det som snyd, hvis den studerende ikke hele tiden ser på skærmen.

WSU's system vil være indenfor kategorien højrisiko AI-system, eftersom der bruges en automatiseret adfærdsanalyse for at vurdere, om den studerende snyder til eksamen. Dette kan være en trussel mod individets grundlæggende rettigheder, og især retten til privatliv. Det er dog på grund af brugen af kamera og automatiseret adfærdsanalyse (biometriske data) at vi begynder at bevæge os over i et højrisikosystem. Ud fra et etisk perspektiv rejser det også en række spørgsmål om overvågning, og mange vil måske finde det ubehageligt at blive filmet i eget hjem.

Derudover vil WSU's system også spille en afgørende rolle ved at bestemme udfaldet af en persons liv (forudsigelser, anbefalinger eller beslutninger, der påvirker miljøer, som AI-systemet interagerer med). Fx hvis systemet bestemmer at den studerende har snydt til eksamen, vil det have store konsekvenser for den enkelte. Det kan være eksamen skal tages igen, eller at den studerende bliver udelukket fra studiet. På baggrund af systemets rolle del vil nok også blive betegnet som et højrisiko AI-system.

Der vil også være et yderligere krav om gennemsigtighed i hvordan WSU's system er nået frem til en afgørelse. Samtidig skal de studerende være informeret om, at de overvåges af et AI-system, hvordan systemet fungerer og træffer beslutninger.

Hvis man yderligere tænkte at man ville bruge WSU's system til at afgøre om de har bestået en eksamen, vil det også betegnes som et højrisiko AI-system.

I eksemplet vil universitetet også skulle overholde GDPR eftersom de behandler personfølsomme oplysninger. Universitetet vil her være dataansvarlig og WSU være databehandler. Det vil samtidig være universitetet der skal sikre, at WSU overholder GDPR, at dataene behandles lovligt, retfærdigt og transparent, og at de studerende er informeret om brugen af deres data.

General purpose systemer i undervisningen

Hvis man ønsker at bruge ChatGPT, Google Bard, Midjourney, Dall-E eller andre generative AI-systemer i undervisningen er der en række krav til udbyderen som de skal overholde.

Her skal brugeren vide at det er en kunstig intelligens de interergerer med, og når generativ AI fx laver billeder eller skriver tekst, skal dette markeres at der er brugt kunstig intelligens i udviklingen. Samtidig skal udbyderen også overholde krav til gennemsigtighed som beskrevet ovenover.

Hvad betyder det for brugen af kunstig intelligens i undervisningen

Som udgangspunkt betyder AI-forordningen at der skal til at være styr på data og hvordan data bliver brugt sammen med kunstig intelligens. Som vi læser forordningen handler det meget om at beskytte borgerne i EU, og have et sæt spilleregler alle skal følge.

Som underviser er det vigtigt at man holder for øje, hvilke AI-systemer der er, og som bliver godkendt til brug i undervisningen. Man kan forvente at udviklerne begynder at tilpasse deres kunstig intelligens systemer efter AI-forordningen, for ellers vil de blive udelukket fra det europæiske marked. Det er dog vigtigt at man stadig overholder GDPR, og at man i mellemtiden ikke ukritisk bare sender eleverne ind i diverse værktøjer på nettet.

Skolerne bliver nødt til at undersøge hvorvidt nogle af deres nuværrende systemer vil falde ind under de 4 kategorier i forordningen, og hvordan systemerne eventuelt kan tilpasses. Her kan det blive en udfordring, hvis man har eller ønsker at udvikle højrisiko-systemer. Selve opfyldelsen af AI-forordningen ligger dog hos udvikleren, men det ligger en række øget omkostninger som fordyre systemerne. Samtidig bliver skolerne også nødt til at gøre det klart overfor underviserne, hvilke materialer de må bruge som en del af undervisningen.

Selvom der nok går 2-3 år inden forordningen er fuldt implementeret, kan man allerede nu godt begynde at gøre sig klar.

Hvis man ønsker mere viden om de nye regler, vil vi anbefale det nedenstående kursus i AI-forordningen:

AI-forordningen og compliance | Forstå de nye regler

Tag kurset om AI-forordningen, og vær godt forberedt på de nye regler for at udvikle og anvende kunstig intelligens.

Djøf

Kilder

https://res.cloudinary.com/triggerz-eu-cld/image/upload/fl_attachment:2 General Approach/v1683885029/upload/contentMedia/ztvywqul8pkp7xaal4jf.pdf

https://digst.dk/media/19302/national_strategi_for_kunstig_intelligens_final.pdf

EU-udvalg strammer reglerne i ændringsforslag til AI-forordningen

Den 11. maj 2023 vedtog EU-Parlamentets udvalg for det Indre Marked og Forbrugerbeskyttelse og Borgernes Rettigheder (IMCO) og udvalget for Retlige og Indre Anliggender (LIBE) et udkast til et ændringsforslag til AI-forordningen.

Lundgrens

Expert explainer: The EU AI Act proposal

A description of the significance of the EU AI Act, its scope and main points

Ada Lovelace InstituteLilian Edwards

EU AI Act: Foundation Models and Almost at the Finish Line | Insights & Resources | Goodwin Procter

EU AI Act: Foundation Models and Almost at the Finish Line

Goodwin ProcterGretchen Scott

OpenAI CEO backs down over European AI Act - TechHQ

OpenAI boss Sam Altman has climbed down from saying the company might leave Europe if the EU AI Bill was too stringent.

TechHQTony Fyler

Regulatory framework proposal on artificial intelligence

The Commission is proposing the first-ever legal framework on AI, which addresses the risks of AI and positions Europe to play a leading role globally.

Shaping Europe’s digital future

ANNEX III AI-Regulation (Proposal) - HIGH-RISK AI SYSTEMS REFERRED TO IN ARTICLE 6(2)

High-risk AI systems pursuant to Article 6(2) are the AI systems listed in any of the following areas: 1. Biometric identification and…

HIGH-RISK AI SYSTEMS REFERRED TO IN ARTICLE 6(2)

What Is the EU’s AI Act and How Would It Affect ChatGPT?

Is OpenAI about to pull ChatGPT from European users?

MUOKatie Rees

AI Act: EU et skridt nærmere første AI-lovgivning efter afstemning

Europa-Parlamentet godkender lovudkast og tager stort skridt mod den længe ventede AI Act.

ComputerworldQëndrim Fazliu Samfundsredaktør

The EU Artificial Intelligence Act

Understanding the EU Artificial Intelligence Act, training for the implementation of the Artificial Intelligence Act

AI-Regulation (Proposal), AI-Regulation

Proposal for a REGULATION OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL LAYING DOWN HARMONISED RULES ON ARTIFICIAL INTELLIGENCE AND AMENDING CERTAIN UNION…

Margrethe Vestager: AI-lov fra EU vil først kunne træde i kraft om flere år - opfordrer AI-industrien til frivillig ‘code of conduct’

EU’s kommende AI-lov vil i bedste fald først kunne være på plads om flere år. Margrethe Vestager opfordrer virksomhederne til frivilligt at tøjle deres AI.

ComputerworldDan Jensen Redaktionschef

EU og USA nærmer sig AI-retningslinjer: Udkast klar om få uger | DataTech (PRO)

»Alle ved, at det her er den næste kraftfulde ting. Så inden for de næste uger vil vi komme med et udkast til etiske retningslinjer for kunstig intelligens,« lyder det fra næstformand i EU-Kommissionen Margrethe Vestager.

DataTechLasse Skovgaard