ChatGPT bliver multimodal

Lige inden deadline på sidste uges nyhedsbrev nåede OpenAI at lancere en app-udgave af ChatGPT med indbyggede tale- og billedgenkendelsesfunktioner. I applikationen, som findes både til iOS og Android, har de i første omgang gjort det muligt at lave tale-til-tekst, og efterfølgende få læst svaret op. Dermed kan man begynde at have en samtale med sprogmodellen. Samtidig har de annonceret, at de begynder at udrulle billedgenkendelse i modellen, og dermed vil det være muligt at kombinere billeder og tale i en prompt.

Der er dukket en række eksempler op, som viser den nye teknologi, og Mckay Wrigley viser herunder, hvordan billedgenkendelse vil kunne bruges af elever:

0:00
/1:40

Kilde: https://x.com/_borriss_/status/1707412411836162279?s=46

De nye multimodale muligheder kan dermed udvide de traditionelle læremidler og tilpasse indholdet til den enkelte. På sigt vil billeder og illustrationer ikke være statiske, men blive mere interaktive og engagerende for eleverne.

På Viden.AI har vi tidligere skrevet om MiniGPT-4, der også kan bruges som analyseværktøj til billeder, og hvordan Bing og Bart kan bruges til visuelle søgninger. Umiddelbart ser de nye funktioner i ChatGPT ud til at være foran konkurrenterne, og vi håber snart at få adgang.

ChatGPT can now see, hear, and speak
We are beginning to roll out new voice and image capabilities in ChatGPT. They offer a new, more intuitive type of interface by allowing you to have a voice conversation or show ChatGPT what you’re talking about.

ChatGPT kan igen søge på nettet

Betalte kunder har desuden fået adgang til at bruge ChatGPT sammen med Bing Search, og dermed kan man igen finde aktuelle informationer fra nettet. OpenAI havde lukket ned for teknologien, eftersom den var lidt for god til at komme bag om en række betalingsmure og hente hele artikler.

Vi har selv testet funktionen, og den er dog meget begrænset, eftersom man kun kan få opsummeringer på 80 ord (nogle gange siger den dog 100 ord).

The Decoder har undersøgt mulighederne for at søge på nettet og skrevet en artikel, hvor hovedbudskabet er, at de traditionelle søgemaskiner er mere nyttige og præcise. Udfordringen er, at ChatGPT omskriver informationen, går glip af pointen eller undlader vigtige aspekter af teksten, hvorimod søgemaskinerne viser relevante uddrag direkte fra kilden. Søgemaskiner har dog også problemer såsom spam, misinformation, og det er ikke transparent, hvordan sider bliver rangeret.

ChatGPT’s new browsing feature is worse than search engines
OpenAI has limited ChatGPT’s ability to read content from web pages to summaries of 100 words. And these summaries are not reliable.

En ny undersøgelse viser, at GPT-4 kan udgøre en betydelig færdighedsudligner

Undersøgelsen, der blev udført af The Boston Consulting Group sammen med adskillige akademiske forskere, inklusive Ethan Mollick. I undersøgelsen blev en række konsulenters færdigheder vurderet, og her blev de inddelt i to grupper baseret på deres præstationer før brugen af AI. Konsulenterne, som oprindeligt præsterede under gennemsnittet (den nederste halvdel af gruppen), oplevede en markant forbedring i deres arbejde sammen med AI, hvilket øgede kvaliteten af deres resultater med hele 43%.

Fordeling af outputkvalitet på tværs af alle opgaverne. Den blå gruppe brugte ikke AI, den grønne og røde gruppe brugte AI, den røde gruppe fik noget ekstra træning i, hvordan man bruger AI. Illustration af Ethan Mollick

På den anden side opnåede konsulenter, som oprindeligt præsterede over gennemsnittet (den øverste halvdel af gruppen), også forbedringer med hjælp fra AI, dog i mindre grad sammenlignet med de konsulenter der præsterende lavere. For denne gruppe blev kvaliteten af deres resultater forbedret med 17% efter at have benyttet GPT-4, hvilket er betragteligt lavere end den forbedringsrate på 43%, som den nederste halvdel opnåede.

Vi har set lignende undersøgelser inden for undervisning, hvor den gruppe, der præsterede dårligst, også fik mest gavn af at have ChatGPT.

Vi har herunder samlet et par links omkring undersøgelsen:

Centaurs and Cyborgs on the Jagged Frontier
I think we have an answer on whether AIs will reshape work.…
Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality
The public release of Large Language Models (LLMs) has sparked tremendous interest in how humans will use Artificial Intelligence (AI) to accomplish a variety o
Everyone is above average
Is AI a Leveler, King Maker, or Escalator?

Ny artikel på viden.ai

Når der skrives og tales om bias i sprogmodeller som ChatGPT, handler det oftest om misforholdet mellem, hvad modellen skriver, og det vi ville ønske, den skriver (den ideelle verden set med den enkeltes øjne?). I virkeligheden handler det mere om, hvad vores forventninger er i forhold til de data, der er brugt til at træne modellerne med.

Claus har skrevet en artikel om bias, eller skævheder, som han foretrækker at kalde dem, i store sprogmodeller. I artiklen ser han blandt andet på, hvorfor og hvordan det opstår. Han kommer også ind på potentielle skævheder ved Google-søgning og runder også de skævheder eller forudindtagetheder, vi allesammen besidder.

Som undervisere har vi en pligt til at oplyse og danne vores unge mennesker. Det er særdeles vigtigt, at vi gør de kommende generationer til kritisk tænkende og reflekterende mennesker, og at de lærer at bruge de nye teknologier på et oplyst grundlag. Oplysning og undervisning i teknologiernes mulige skævheder, behovet for kritisk tænkning, validering af informationer og sund skepsis er måske et godt sted at starte! Vi skal i hvert fald være meget bevidste om, hvad vi kan forvente af sprogmodeller, når vi bruger dem!

Andreas Lindenskov Tamborg, assistant professor fra Københavns Universitet, skrev på LinkedIn:

Stærkt indlæg og vigtigt bidrag til at skærpe præcisionen af, hvad vi mener med og forstår ved bias. Som tiden er nu, burde dette være en del af kernestof i både grundskole og på mange ungdomsuddannelser.

Læs artiklen her:

Et nuanceret syn på skævheder -“bias” - i sprogmodeller
Anvendelsen af generativ kunstig intelligens, som f.eks. ChatGPT, bliver stadig mere udbredt – også i uddannelsesregi. Når vi inddrager ny teknologi i vores arbejde og uddannelse, er det meget vigtigt, at vi forstår dens muligheder og især dens begrænsninger. Store sprogmodeller (large language mode…

Nyheder

Sam Altman Is the Oppenheimer of Our Age
He insists the artificial intelligence he is creating could destroy civilization even as he hastens its advancement. Do we know enough about him?
OpenAI offers a way for creators to opt out of AI training data. It’s so onerous that one artist called it ‘enraging.’
OpenAI is now letting artists request that their work be removed from AI training data. The process is so onerous that it almost seems like it was designed not to work.
AI og chatbots på Rosborg Gymnasium & HF - IT Torvet
Læs blandt andet om en særlig digital studieretning med AI i undervisningen, når rektor Hanne Hautop gæsteblogger.
Generative AI, plagiarism, and “cheating”
Back in January, I wrote a post called Beyond Cheating, reflecting on the ChatGPT bans that were rolling out across various Australian states and the “cheating”
Lærere i debat om kunstig intelligens: Vi kan ikke fortsætte undervisningen som tidligere
Teachers Are Going All In on Generative AI
Surveys suggest teachers use generative AI more than students, to create lesson plans or more interesting word problems. Educators say it can save valuable time but must be used carefully.
Kunstig intelligens er rykket direkte ind i studieværktøjerne: - Det kommer til at flyde over med middelmådige resultater, vurderer ekspert
Kunstig intelligens er med til at forandre læringen i samtlige fag på én gang, mener formanden for Danske Gymnasier.
Recap: Teaching in the Age of AI (What’s Working, What’s Not) - Center for Excellence in Teaching and Learning
by Derek Bruff, visiting associate director Earlier this week, CETL and AIG hosted a discussion among UM faculty and other instructors about teaching and AI this fall semester. We wanted to know what was working when it came to policies and assignments that responded to generative AI technologies li…
Efterskole bruger ChatGPT i alle fag: ‘De skal vide præcist, hvornår de må bruge det’ | Version2
På True North Efterskole fokuseres der på elevernes egne refleksioner og kreativitet i undervisningen og afleveringerne, og derfor må de gerne benytte ChatGPT til de lette opgaver.
ChatGPT er ikke så farlig endda…

Ugens anbefaling

Lærerværelset er en podcast om undervisning skabt af Morten Gundel, der underviser i samfundsfag og kommunikation & it på H.C. Ørsted Gymnasiet i Lyngby. Gennem samtaler med forskere, undervisere og elever forsøger han at blive klogere på nogle af de pædagogiske og didaktiske udfordringer, han møder i sin hverdag som gymnasielærer.

I denne uge har Viden.AI været forbi til en snak med Morten om, hvad vi har lært om kunstig intelligens i undervisningen efter et år med ChatGPT? Lyt til det nye afsnit, men dyk også ned i de andre meget spændende afsnit.

Hvad har vi lært om kunstig intelligens i undervisningen efter et år med ChatGPT? - Lærerværelset
Da OpenAI lancerede ChatGPT for et lille års tid siden, sendte det chokbølger gennem uddannelsessektoren. Den brugervenlige og let tilgængelig kunstige intelligens rejste en masse spørgsmål om uddannelse: Hvad skal vi lære eleverne, hvis kunstig i…