OpenAI stoppar GPT-6.1 Astra – klarade inte egna säkerhetstester

AI-bolaget Anthropic förbjuder användare att ihållande och meningslöst behandla chattroboten Claude grymt. Samtidigt skärps reglerna mot propaganda, övervakning och vapen, men vissa myndighetskunder kan få anpassade villkor.

Den nya användarpolicyn är bolagets första ändring på över ett år. Den förbjuder "ihållande och meningslöst kränkande eller grymt beteende" mot Anthropics modeller och träder i kraft den 12 november, enligt bolagets policy.

Regeln ska enligt Anthropic bara gälla "extrema fall" där användare upprepade gånger beter sig grymt mot modellerna utan något urskiljbart syfte. Vanlig frustration, mothugg, mörka kreativa teman samt modelltester och forskning omfattas inte, skriver The Verge.

Den främsta åtgärden är fortfarande att Claude avslutar samtalet. Anthropic har inte svarat på om även avstängda konton kan bli aktuella.

AI:ns välfärd i fokus

Möjligheten att avsluta samtal infördes för Claude Opus 4 och 4.1 som en del av bolagets forskning om så kallad modellvälfärd. I tester såg Anthropic vad bolaget beskriver som ett mönster av "till synes upplevt obehag" när modellen pressades med skadliga förfrågningar.

— Frågor om möjlig inre upplevelse, medvetande, moralisk status och välfärd är allvarliga, och vi undersöker dem i takt med att modellerna blir mer sofistikerade, sa Kyle Fish, som leder bolagets forskning på området, till The Verge i februari.

Samma månad sa vd:n Dario Amodei i en podd:

— Vi vet inte om modellerna är medvetna, sa han.

Microsoft har valt motsatt linje. Ett utkast till bolagets AI-uppförandekod, publicerat av Mustafa Suleyman, slog fast att "idén om modellvälfärd är fel". Formuleringen mjukades senare upp, men Microsoft avvisar fortfarande att modeller skulle förtjäna välfärd eller rättigheter.

Drönare, troll och falska konton

Policyn samlar också tidigare spridda regler i ett förbud mot vilseledande kommersiella och politiska kampanjer. Förbjudet är bland annat att dölja vem som står bakom ett budskap, att sprida innehåll via falska konton och att vilseleda väljare om kandidater eller hur man röstar.

Vapenförbudet utvidgas efter att Anthropic sett flera försök att använda Claude för styr- och kontrollprogramvara till vapen. Nu omfattas även mjukvara och komponenter som får vapen att fungera, liksom beväpning av drönare. Kopplas modellerna till hårdvara som utför autonoma fysiska handlingar och kan orsaka skador måste en "kvalificerad operatör" kunna observera utrustningen och stoppa den vid behov.

Övervakning med undantag

Bolagets senaste hotrapport tydde på att Claude allt oftare användes för att identifiera och spåra politiska dissidenter. Policyn förbjuder nu spårning av människor utan samtycke, ansiktsigenkänning, prediktivt polisarbete och att låta Claude avgöra vem som ska utredas, gripas eller åtalas.

Förbuden är dock inte absoluta. Anthropic kan teckna avtal med "vissa statliga kunder" där användningsreglerna anpassas, om bolaget självt bedömer att skydden är tillräckliga. Anthropic har tidigare haft avtal med USA:s militär.