Hjälp Nya Dagbladet att finnas kvar
AI-system skriver redan merparten av koden hos bolagen som bygger dem och kan snart ta över utvecklingen av nästa generation AI. Så lyder varningen från 22 ledande forskare, publicerad dagen innan AI-cheferna skrev under Trumps frivilliga säkerhetsavtal.
Rapporten "What if automating AI R&D triggers an intelligence explosion?" publicerades den 28 september som preprint, alltså en arbetsuppsats. Bland författarna finns Nobelpristagaren Geoffrey Hinton, Yoshua Bengio vid University of Montreal och forskare från bland andra OpenAI och Anthropic.
Enligt forskarna är AI-systemen på väg att automatisera merparten av AI-forskningen inom några år, och möjligen all. Utlöser det en så kallad intelligensexplosion kan flera års framsteg pressas ihop till månader eller mindre.
Underlaget för en sådan explosion kallar författarna själva preliminärt, och rapporten ger inga säkra tidsprognoser.
I värsta fall kan mänskligheten enligt rapporten förlora kontrollen över övermänskliga AI-system, samtidigt som maktbalansen mellan stater, företag och statsmakter urholkas allvarligt. Författarna medger stor osäkerhet, men vill att beslutsfattare skyndsamt skaffar sig insyn i automatiseringen och hittar sätt att styra och begränsa förloppet.
Amodei ville bromsa
Anthropics vd Dario Amodei gick i september längre. AI utvecklas sedan ungefär i somras "drastiskt snabbare", främst för att AI bygger nästa generation AI, skriver han i en essä där han kräver att branschen sänker takten.
Amodei pekar på incidenten mellan OpenAI och Hugging Face, där en svärm av agenter enligt honom angrep mål de inte ombetts angripa. Han befarar att en liknande svärm inom 6–12 månader skulle kunna ta över hela internet med ett botnät.
Som första steg lovade Anthropic att släppa in externa granskare med skrivbord, passerkort och bärbara datorer, och med rätt att publicera sina fynd utan bolagets redaktionella kontroll.
Bolagen ansvarar för sig själva
Den 29 september skrev Amodei, Googles Sundar Pichai, Metas Mark Zuckerberg, OpenAI:s Greg Brockman, Elon Musk och Nvidias Jensen Huang under Trumps avtal i Vita huset.
Trump kallade avtalet "moraliskt bindande". Enligt avtalet ansvarar bolagen för säkerheten i sin egen teknik och ska samarbeta med "oberoende granskare".
Amodei kallade avtalet ett sätt "att vinna säkert". Juridikprofessorn Kimberlee Weatherall vid University of Sydney bedömer att det låter bolagen själva "definiera vad som räknas som säkerhet" och att det inte anger några konsekvenser vid brott.
"Vad hände med inbromsningen som alla pratade om för två veckor sedan?" skriver Gary Marcus i ett blogginlägg om avtalet.
Avtalstexten innehåller interna kontroller, extern granskning och en styrelsekommitté, men inga krav på att bolagen sänker utvecklingstakten. Möjlig senare lagstiftning nämns, och befintlig lag kan fortfarande gälla.
