OpenAIs uddannelsesstrategi - hvad vi ikke må gentage fra sociale medier

I denne artikel dykker jeg ned i det blogindlæg, som OpenAI offentliggjorde med titlen New tools for understanding AI and learning outcomes. Projektet ligner et solidt forskningsinitiativ i samarbejde mellem Stanford og Estlands University of Tartu, som skal måle, hvordan AI påvirker læring over tid. Her har de udviklet et framework, der kaldes Learning Outcomes Measurement Suite.

For mig er det fagligt interessant, fordi jeg i mit eget kandidatspeciale fra 2017 selv byggede en platform til at indsamle data om eleverne og give feedback til lærerne. Det, jeg fandt ud af, kommer jeg tilbage til senere i indlægget.

Men i forhold til OpenAIs blogindlæg var der alligevel noget, der fangede min opmærksomhed, og noget, som jeg ikke har set andre skrive om.

Midt i teksten gemmer der sig en sætning, som afslører noget langt større end selve det projekt, de beskriver.

We have been building a structured measurement system to measure AI's impact on learners at scale, and create a mechanism to improve models based on those outcomes.

Læs den igen. Det er to ting i én sætning, nemlig at måle læring i stor skala og at kunne træne modellerne på de data. Det er ikke en sideeffekt. Det er forretningsmodellen.

Platformslogikken

I undervisningssektoren skal vi være nervøse for de mekanismer, vi kender fra de sociale medier, hvor en platform tilbyder en gratis tjeneste, og brugerne flokkes til. Når brugerne efter noget tid genererer en masse data, bruger platformen dem til at forbedre tjenesten. Det giver nye brugere og endnu mere data. Loopet lukker sig og accelererer.

Det er præcis det, jeg ser i citatet ovenfor. OpenAI er i gang med at bygge det samme loop, bare med læring i stedet for opmærksomhed.

ChatGPT er tutoren, study mode er det pædagogiske interface, og Learning Outcomes Measurement Suite indsamler data fra hver interaktion. Modellen bliver bedre hver gang den kører, hvilket gør den mere attraktiv for den næste skole, det næste ministerium og det næste land.

Lige nu er det udrullet i stor skala i Estland, hvor næsten 20.000 elever mellem 16 og 18 år har brugt det i flere måneder. Estland er ikke et tilfældigt valg. Landet har en digital-first uddannelseskultur og fungerer aktivt som proof of concept for tech-industrien. Det giver et præcist billede af, hvad det er for et magtforhold, der er i spil. Og det er noget, man i Danmark allerede kigger interesseret på. Blandt andet opfordrer IT-fagforeningen PROSA direkte til at følge den estiske model.

Hvad er god læring?

Det store spørgsmål er i virkeligheden ganske enkelt. Hvem definerer, hvad god læring er?

Traditionelt har svaret ligget hos lærere, faglige fællesskaber, ministerier og pædagogisk forskning. Det har været ufuldkomment, langsomt og præget af uenighed, men det har været en demokratisk proces.

I OpenAIs framework defineres, hvad en “god læringsinteraktion” er. Der bygges klassifikatorer, der scorer dem, og en model optimeres mod de scorer. Det er ikke længere et værktøj, der hjælper med læring. Det er et system, der former, hvad læring er.

Når man nærlæser frameworket, måler de blandt andet autonom motivation (autonomous motivation), vedholdenhed i opgaver (task persistence) og metakognition (metacognition). Det lyder som begreber hentet fra læringsteorien. Men i praksis betyder det, at en AI-model vurderer, om en elev er tilstrækkeligt selvstændig, udholdende og reflekteret, og at modellen derefter optimeres mod de vurderinger.

OpenAI skriver selv, at systemer og undervisere skal have beføjelser til at styre afvejninger i overensstemmelse med pædagogisk bedste praksis. Det lyder betryggende. Men intentioner og infrastruktur er to forskellige ting. Når målesystemet er bygget, når klassifikatorerne er defineret, og når platformen er adopteret i national skala, er det svært at styre uden om de kategorier der allerede er lagt ned.

Hvis OpenAIs framework bliver standarden for, hvordan AI-baseret læring evalueres, ender vi med at lade en techvirksomhed definere, hvad god læring er. Ikke med tvang, men med infrastruktur. Når et målesystem er tilstrækkeligt bredt adopteret og integreret i en platform, der allerede bruges af hundredvis af millioner, bliver det i praksis svært at definere succes på andre måder.

Det er præcis den dynamik, vi har set med sociale medier. Ingen besluttede, at likes skulle være målestokken for social anerkendelse. Men platformens arkitektur gjorde det til den uundgåelige målestok.

Måling må ikke blive et mål i sig selv

Gert Biesta har skrevet en hel bog med titlen God uddannelse i målingens tidsalder.
Hans pointe er enkel:

Når måling bliver målet, ophører det med at være et godt mål.

Faren er ikke, at OpenAI måler for lidt. Faren er, at vi begynder at forveksle det, der kan måles, med det, der faktisk betyder noget.

Jeg stødte selv på det problem i mit speciale i 2017. Jeg eksperimenterede med machine learning til at analysere formativ feedbackdata og byggede visualiseringer som radardiagrammer og en “læringspuls”. Det, jeg lærte, var, at visualiseringerne er med til at skabe et ekstra lag mellem lærer og elev og indfangede forbløffende lidt af det, der faktisk skete i undervisningen. Ikke fordi teknologien var dårlig, men fordi læring i praksis er rodet, relationel og kontekstbunden på måder, som dashboards ikke kan indfange.

OpenAIs framework er langt mere sofistikeret end det jeg byggede dengang, men den grundlæggende udfordring er den samme.

Sociale medier lærte os hvad der sker, når vi overlader definitionen af menneskelig interaktion til platformslogikken. Nu handler det om noget endnu mere grundlæggende: den måde vi lærer på