AI’s udvikling handler i stor grad om én ting: skalering.
Jo større modellerne bliver, og jo mere data de får, desto bedre resultater kan de levere. Modeller som OpenAI’s GPT-4 er et eksempel på, hvordan flere hundrede milliarder forbindelser i algoritmer kan skabe sofistikerede systemer, der kan kode, skrive og meget mere.
Det kræver dog en enorm mængde computerkraft at træne disse algoritmer, og det betyder, at ressourcerne i form af energi og chips hurtigt bliver en flaskehals. Ifølge nonprofitorganisationen Epoch AI er computere, der bruges til AI-træning, blevet fire gange kraftigere hvert år. Hvis denne vækst fortsætter frem til 2030, kan fremtidige AI-modeller blive 10.000 gange større end de nuværende.
Udfordringen med strøm
En af de største udfordringer er, hvor meget strøm AI-modeller kræver. Meta’s seneste AI-model blev trænet på 16.000 avancerede Nvidia-chips, der brugte 27 megawatt – svarende til elforbruget for 23.000 amerikanske husstande. Det forventes, at fremtidens AI-modeller vil kræve op til 200 gange mere strøm.
-
-
Manglen på chips
Nvidia er kongen af AI-chips, men produktionen af de nødvendige GPU’er er en anden flaskehals. Selv om der er kapacitet til at producere flere chips i fremtiden, kan manglen på højhastighedshukommelse og komplekse fremstillingsprocesser bremse væksten. I 2030 kan vi have mellem 20 og 400 millioner chips til rådighed for AI-træning, men det er langt fra nok til de modeller, der kræver 50.000 gange mere computerkraft end GPT-4.
Data: AI’s brændstof
AI-modeller kræver enorme mængder data for at lære, men det forventes, at vi vil løbe tør for højkvalitetsdata i de kommende år. Selvom syntetisk data – altså data skabt af computere – kan hjælpe, er det stadig usikkert, hvor effektivt det vil være. Epoch vurderer dog, at der stadig vil være nok data til at træne modeller, der er 80.000 gange større end GPT-4.
Svaret på, om AI vil vokse 10.000 gange
Selvom der er store udfordringer med strøm, chips og data, viser undersøgelser, at AI-modeller i 2030 stadig kan vokse markant. Svaret er, at vækst er teknisk muligt, men kræver enorme investeringer i ressourcer og infrastruktur.
Se det originale indhold her.