Orion, som mange OpenAI-medarbejdere har testet, har kun bragt små forbedringer i forhold til GPT-4, særligt inden for kodning. Dette står i kontrast til tidligere, hvor fremskridt mellem modeller har været markante, og det rejser spørgsmålet om, hvorvidt AI-systemernes evne til forbedring er ved at flade ud.
OpenAI’s direktør, Sam Altman, har tidligere påpeget, at såkaldte “skaleringslove” er afgørende for AI’s udvikling. Større modeller med mere data og computerkraft bør teoretisk set gøre AI smartere. Dog er nogle af OpenAI’s egne tekniske medarbejdere begyndt at stille spørgsmålstegn ved, om disse love stadig holder.
Begrænsede ressourcer skaber udfordringer
Der er to hovedårsager til, at AI’s udvikling kan være ved at nå en grænse. Data og computerkraft. Mængden af tilgængelig tekst og data, som AI kan bruge til træning, er begrænset. Ifølge analysefirmaet Epoch AI vil denne kilde være udtømt inden 2028.
AI-branchen har forsøgt at anvende syntetisk data, altså data genereret af AI-modellerne selv, men det kan være problematisk, da det ikke altid er pålideligt.
Den anden begrænsning er computerkraft. Altman har tidligere erkendt, at OpenAI står over for store udfordringer i at finde de nødvendige ressourcer til at fortsætte udviklingen, og en Reddit-samtale i sidste måned afslørede, at virksomheden står over for svære beslutninger om allokering af computerkraft.
-
-
Tydelige tegn på "aftagende udbytte"
Eksperter peger også på, at den nyeste AI-udvikling i stigende grad viser tegn på "aftagende udbytte", hvor hvert skridt fremad bliver mindre markant end de forrige. Gary Marcus, en kendt kritiker af AI-branchen, påpegede, at markedets massive investeringer ikke længere viser den eksponentielle vækst, man tidligere så.
Selvom nogle som Microsoft’s teknologidirektør Kevin Scott forbliver optimistiske og tror, at der stadig er potentiale i at skalere AI, er der også andre veje til forbedringer. Et nyere modeltrin fra OpenAI, kaldet OpenAI o1, fokuserede på såkaldte inferensforbedringer, hvilket gav modellen mulighed for at løse komplekse opgaver på niveau med PhD-studerende.
Hvad betyder det for fremtiden?
Selvom AI-industrien fortsat leder efter måder at skabe store fremskridt, ser det ud til, at de nuværende metoder kan være ved at have nået deres fulde potentiale.
Se kilden til indholdet her.