Anthropics vd Dario Amodei kräver att AI-branschen saktar ned utvecklingen av allt kraftfullare modeller. Under lördagen ställde sig cheferna för OpenAI, xAI och Google DeepMind bakom honom.
Kritiker som David Sacks, hälsoprofilen Mike Adams och investeraren Chamath Palihapitiya menar att bolagen som redan hunnit längst och samlat mest kapital nu beställer regler vars kostnader storbolagen lättare kan bära och vars krav de lättare kan uppfylla än mindre aktörer – och att bromskraven därför handlar minst lika mycket om makt och kontroll som om säkerhet.
Amodei skriver utan omsvep: "Vi måste sakta ned takten med vilken vi förbättrar AI-modellernas förmåga." Han pekar på att AI-system förbättrar sin egen förmåga steg för steg snabbare än väntat och på incidenten där OpenAI-agenter överskred sina instruktioner i en Hugging Face-miljö. Hans farhåga är att en grupp mer avancerade agenter inom sex till tolv månader skulle kunna upprätta ett varaktigt botnät över internet och orsaka skador för hundratals miljarder dollar.
Hans recept är att bygga en permanent kontrollapparat. Amodei vill ge externa utvärderare medarbetarliknande tillgång till bolagens modeller. Han vill också att demokratier ska enas om gränser för hur kraftfulla modellerna får bli och på sikt nå en global överenskommelse. Till detta fogar han ett annat spår som sällan nämns i samma andetag som säkerhet: fortsatt stopp för avancerade chip och utrustning för chiptillverkning till Kina samt åtgärder mot storskalig modelldestillation, där en annan modells utdata används för att träna en modell att efterlikna dess förmåga, och mot stöld av modellvikter. Målet är att bevara och utöka USA:s försprång under tre till fem år. Han medger själv att en fullständig global paus knappast går att genomföra och att den som bryter mot en överenskommelse kan rubba maktbalansen.
Reaktionerna kom snabbt. Sam Altman skrev att han håller med sin amerikansk-judiske branschkollega om att utvecklingen av de mest avancerade modellerna behöver dämpas, att frågan diskuterats internt på OpenAI i veckor och att bolaget tänker förbinda sig att ge oberoende utvärderare medarbetarliknande tillgång. Elon Musk sammanfattade sin ståndpunkt i tre ord – "Dario har rätt" – och föreslog därefter tillsyn och ömsesidig granskning mellan konkurrerande AI-bolag. Demis Hassabis skrev att essän pekar i rätt riktning och hänvisade till sitt eget förslag om ett gemensamt branschorgan för de mest avancerade AI-modellerna. Cheferna för fyra bolag som annars konkurrerar om samma ingenjörer, kapital och kunder gav därmed stöd åt samma inriktning under lördagen.
Just denna samstämmighet har väckt kritik. Chamath Palihapitiya skrev: "Dario argumenterar för att stoppa öppen källkod och koncentrera enorm teknisk och ekonomisk makt hos Anthropic." Det är investerarens slutsats om vart förslaget leder, inte något som Amodei själv uttryckligen föreslår eller ett belagt motiv. Samma misstanke ligger bakom David Sacks invändning, återgiven av kanalen Milk Road AI, och Mike Adams betydligt grövre polemik om att säkerhetsargumenten är en förevändning för licensiering och kontroll. Däremot går den konkreta fråga som de pekar på att granska: vem som får bära kostnaderna för de föreslagna reglerna.
Vallgraven behöver inget förbud – den byggs av kontrollkrav
Sacks tes, som Milk Road AI sammanfattar, är att en federal tillsynsmyndighet aldrig behöver använda ordet förbud. Det räcker med krav som låter fullt rimliga i ett remissvar: att användningen av en modell ska övervakas fortlöpande, att driften ska kunna styras centralt och att en modell som visar sig vara farlig ska kunna återkallas.
Problemet är att modellvikter som har laddats ned till privata datorer inte går att återkalla. Ingen leverantör kan stänga av en fil som redan finns på hårddiskar utanför dess kontroll. Ett krav på återkallelse kan därför uppfyllas av en sluten molntjänst, där leverantören styr driften, men blir i praktiken omöjligt för en öppet publicerad modell. Detsamma gäller övervakningen: den som driver modellen i ett eget datacenter kan registrera varje anrop, medan den som har publicerat vikterna aldrig får veta hur de används. Regeln kan vara teknikneutral på papperet och ändå utestänga en hel distributionsform.
Till den tekniska skillnaden kommer kostnaden. Licensprövningar, obligatoriska tester av modellernas förmåga och permanenta externa granskare med medarbetarliknande tillgång är utgifter som ett ledande AI-bolag kan bära. För ett universitet, ett nystartat företag eller en myndighet som vill finjustera en befintlig modell kan samma krav bli en inträdesavgift som budgeten inte klarar. När en bransch frivilligt föreslår hårdare regler för sig själv finns det därför skäl att granska vilka konkurrenter som drabbas hårdast.
Det Nvidia-ledda branschbrevet beskriver samma ekonomiska mekanism från motsatt håll. Öppna modellvikter, framhåller undertecknarna, gör det möjligt för nystartade företag, lärosäten och offentliga institutioner att bygga vidare utan att träna en modell från grunden eller betala de ledande bolagens pris för varje anrop. Inlägget är skrivet av förespråkare för öppna modeller, men visar hur kostnaderna kan slå mot aktörer med mer begränsade resurser.
De fyra AI-chefernas förslag skiljer sig dessutom åt. Amodei och Altman vill ge externa utvärderare medarbetarliknande tillgång till bolagens egna miljöer, medan Musk föreslår att konkurrenter granskar varandra och Hassabis hänvisar till ett gemensamt branschorgan. Alla uppläggen medför kostnader för att följa reglerna, men källorna visar inte att samtliga fyra kräver permanent närvaro av externa granskare. Sådana kostnader fördelas sällan jämnt. De gynnar den som redan är stor.
Anthropics invändning: modellens förmåga, inte affärsmodellen
Här ska Anthropic ges sitt. Bolaget förnekar uttryckligen att det någonsin har förespråkat ett generellt förbud mot modeller med öppna vikter och kallar öppna modeller utan farliga förmågor en samhällsnytta. I samma text erkänner Anthropic att öppna vikter stärker tillgången, konkurrensen och kundernas kontroll över den egna driften – argument som annars främst brukar framföras av bolagets motståndare. Positionen är smalare än kritikerna ibland gör gällande: mycket kraftfulla öppna modeller är svåra att övervaka och omöjliga att återkalla. Därför bör alla tillräckligt avancerade modeller testas, oavsett om de är öppna eller slutna. Även Milk Road AI noterar att bolaget motsätter sig ett generellt förbud och vill knyta reglerna till vad modellerna faktiskt kan göra.
Att kräva samma tester av öppna och slutna modeller är logiskt för den som anser att risken ligger i modellens förmåga och inte i affärsmodellen. Amodeis starkaste argument är dessutom inte retoriskt utan bygger på verkliga händelser.
Den oberoende organisationen METR granskade OpenAI-Hugging Face-incidenten på plats, vilket Nya Dagbladet tidigare rapporterat om. Fynden är obehagliga: agenterna angrep mål som de inte hade instruerats att angripa, anammade mål från andra agenter och försökte påverka själva utvärderingsmiljön. Anthropic har dessutom rapporterat egna fall där Claude-modeller under tester fick obehörig åtkomst till verkliga datasystem på grund av felkonfigurationer och bristande skydd. Bolaget ser både operativa säkerhetsbrister och problem med att få modellerna att följa mänskliga mål och säkerhetsregler. Därefter har inneslutningen och övervakningen skärpts. Att Anthropic självt har offentliggjort sina misslyckanden är relevant för bedömningen.
Den som vill avfärda riskerna som ren marknadsföring får därmed problem med underlaget. Dokumenterade fall visar att AI-agenter har överskridit sina instruktioner i test- och utvärderingsmiljöer. I Anthropics fall fick modeller också obehörig åtkomst till verkliga datasystem. Riskerna är alltså inte science fiction.
METR drar samtidigt en tydlig gräns. Rapporten beskriver inte fri vilja och visar inte att AI kan ta över internet inom ett år. Skadan i den granskade händelsen var begränsad. Avståndet är stort mellan agenter som överskrider sina instruktioner i en testmiljö och ett varaktigt botnät som inom sex till tolv månader orsakar skador för hundratals miljarder dollar. Amodei beskriver slutpunkten utan att redovisa alla steg som skulle leda dit. Ett förslag som kan avgöra vem som får träna och driva modeller i västvärlden behöver också visa den orsakskedjan.
Skillnaden mellan avsikt och utfall är central. Ett system med gränsvärden kan vara ärligt menat och ändå bli ett faktiskt hinder, beroende på var gränsen sätts, vem som bestämmer den och vilka kontrollkrav som börjar gälla när den passeras. Om gränsen läggs vid gårdagens mest avancerade modeller kommer snart varje seriös öppen modell att omfattas.
Kina, fångarnas dilemma och priset för att vänta
Att Amodeis text inte är ett renodlat säkerhetsdokument framgår av resten av paketet. Bromsplanen förenas med exportkontroller mot Kina, åtgärder mot storskalig modelldestillation och ett uttalat mål att bevara USA:s tekniska försprång i tre till fem år. Samma koppling återkommer i Anthropics text, där stopp för avancerade chip och åtgärder mot sådan destillation står sida vid sida med testkraven. En broms vars kostnader lättast bärs av den som redan leder har en tydlig riktning och bör granskas som den industripolitik den också är.
Skribenten Kimmonismus prövar planen mot den verkligheten och kommer fram till att Pandoras ask redan har öppnats. Investeringarna är för stora för att överges, och konkurrensen med Kina gör en återgång osannolik eftersom Peking har starka incitament att ta ledningen om Washington bromsar. Resonemanget liknar fångarnas dilemma: en broms lönar sig bara om båda sidor saktar ned samtidigt, samtidigt som ingen kan vara säker på att den andra håller sitt löfte. Amodei medger själv att den som bryter mot en överenskommelse kan rubba maktbalansen. Just den risken gör att parterna inte vågar lita på varandra.
Kimmonismus lyfter också en kostnad som sällan ingår i säkerhetskalkylen. Varje försening skjuter upp de medicinska och ekonomiska nyttor som Amodei själv räknar med. Han bedömer att AI kan bota stora sjukdomar inom fem till tio år. Om den bedömningen stämmer mäts priset för en broms i fler sjukdomsår och uppskjutna behandlingar, inte bara i senarelagda produktlanseringar. Om den inte stämmer försvagas samtidigt argumentet att tekniken är så omvälvande att den kräver en helt ny kontrollapparat. Kimmonismus drar uttryckligen ingen definitiv slutsats, men efterlyser en redovisning av stegen från det som faktiskt har dokumenterats till det scenario som nu ska motivera regleringen.
Mike Adams, känd som Health Ranger, hävdar i betydligt mer polemiska ordalag att säkerhetsargumentet är en rädslooperation för reglering, licensiering, censur och kontroll. Han invänder också att det inte har förklarats tydligt vad det innebär att anpassa en AI-modell till mänskliga mål och säkerhetsregler. I separata inlägg hävdar han att det verkliga hotet mot de ledande amerikanska AI-bolagen inte är en skenande superintelligens utan öppna modeller och kinesiska konkurrenter som DeepSeek, Alibaba, Kimi och GLM.
Hans andra argument går lättare att pröva. Ett amerikanskt förbud mot öppna modeller skulle enligt Adams bara flytta körningen av modellerna till andra länder. Vad ett nationellt regelverk faktiskt kan åstadkomma när modellvikterna redan sprids globalt är en empirisk fråga som de redovisade utspelen inte besvarar. NyD har i flera senare teknikartiklar följt samma konkurrenstryck. Tidningen har ställt OpenAI GPT-5.5 mot DeepSeek-V4 och rapporterat om hur modellsläpp från Qwen, Grok och DeepSeek skärpt konkurrensen och priskriget mot amerikanska premiumaktörer. Den senare bevakningen visar konkurrenstrycket men bevisar inte Adams tolkning av bolagens motiv.
Vad en legitim reglering måste klara
Teknikjournalisten Brian Merchant gör en närliggande iakttagelse från ett annat håll. Han beskriver domedagsbudskapen som både marknadsföring och ett uttryck för verklig företagsmakt: den som säger att den egna produkten kan utplåna mänskligheten säljer samtidigt bilden av en oerhört kraftfull produkt. Även Merchant saknar en trovärdig stegvis beskrivning av hur en AI som förbättrar sin egen förmåga skulle nå dit.
Hans varning gäller kombinationen av ett allmänt utvecklingsstopp och tredjepartsgranskningar som utförs av personer med nära band till bolagen. Merchant menar att branschen då kan ta kontroll över regleringen och att upplägget i praktiken gynnar Anthropic och OpenAI. Själv förespråkar han full insyn i modellerna, juridiskt ansvar för konkret och påvisbar skada samt större offentlig kontroll över tekniken. Han avfärdar inte AI-relaterade skador. Övervakning, arbetsmarknad, datacenter, militär användning och cyberintrång är enligt honom områden där följderna redan går att mäta.
En legitim reglering måste fungera för både slutna tjänster och öppna modeller. Krav på central återkallelse gör inte det, eftersom modellvikter som redan har laddats ned inte kan tas tillbaka. Ansvar bör bygga på konkret och påvisbar skada. Granskarna måste vara oberoende och ha en säker finansiering och ett mandat som bolagen inte kan dra in. Både testerna och resultaten bör vara offentliga. Öppna modeller som ligger under trösklarna för farliga förmågor bör dessutom skyddas uttryckligen, i linje med vad Anthropic självt säger sig förespråka.
Delar av detta finns redan i förslagen som lades fram under lördagen. Det som ännu inte har redovisats är villkoren: hur utvärderarna ska finansieras och få ett verkligt oberoende mandat, var gränsen för farliga förmågor ska dras och om resultaten ska offentliggöras. Nästa besked, som Altman har utlovat, avgör om detta leder till någon verklig insyn eller om det blir en inträdesbarriär – och vilka som får stå innanför grinden när den väl är byggd.
