Hjälp Nya Dagbladet att finnas kvar
Det kinesiska AI-bolaget DeepSeek har publicerat ett tekniskt dokument som föreslår en grundläggande omarbetning av den arkitektur som används för att träna artificiella intelligensmodeller. Metoden, som grundaren Liang Wenfeng medförfattat, kan innebära ett skifte i hur framtidens AI-system utvecklas.
DeepSeeks nya metod kallas Manifold-Constrained Hyper-Connections, eller mHC, och utgör en vidareutveckling av den konventionella ResNet-arkitekturen som ligger till grund för stora språkmodeller. Artikeln publicerades den 1 januari och har omedelbart väckt stort intresse bland utvecklare och forskare.
I studien testade ett team på 19 forskare från DeepSeek metoden på modeller med 3, 9 och 27 miljarder parametrar. Resultaten visade att mHC kunde skalas upp utan att lägga till någon betydande beräkningsbörda.
Quan Long, professor vid Hong Kong-universitetet för vetenskap och teknik, beskrev resultaten som "mycket betydelsefulla för transformerarkitekturen som används i stora språkmodeller". Han tillade att han var "mycket entusiastisk över att se denna viktiga optimering från DeepSeek som redan har revolutionerat effektiviteten i stora språkmodeller".
Fokus på grundläggande mekanismer
Medan de flesta AI-företag koncentrerar sig på att omvandla AI-funktioner till agenter och produkter, har DeepSeek valt en annan väg. Bolaget, som är ett sidoprojekt till Liang Wenfengs kvanthandelsföretag, fokuserar istället på att förbättra de grundläggande tekniska mekanismerna för hur maskiner lär sig av data.
ResNet-arkitekturen utvecklades för ett decennium sedan av fyra kinesiska forskare vid Microsoft Research Asia, däribland datavetaren He Kaiming. Metoden möjliggör träning av djupa neurala nätverk genom att minska träningsfel genom nätverkets olika lager. En artikel om ResNet blev enligt den brittiska tidskriften Nature det mest citerade vetenskapliga arbetet under 2000-talet.
Stabilare träning
DeepSeeks nya mHC-metod bygger vidare på ByteDances Hyper-Connections från 2024, men löser ett viktigt problem. Enligt DeepSeeks forskare leder konventionella hyper-connections lätt till allvarliga stabilitetsproblem vid träning. Metoden stabiliserar arkitekturen genom att begränsa dataflödet till en specifik matematisk struktur.
Pierre-Carl Langlais, medgrundare av franska AI-företaget Pleias, menar att artikelns verkliga betydelse ligger i DeepSeeks förmåga att omarbeta varje dimension av träningsmiljön för att stödja ny forskning.
— Det är vad som gör DeepSeek till ett ledande laboratorium, skrev Langlais på LinkedIn.
Branschobservatörer menar att DeepSeeks tekniska artiklar ofta signalerar vilken riktning företagets nästa stora modell kommer att ta. Det finns nu höga förväntningar på att DeepSeek kan släppa sin nästa stora modell i samband med det kinesiska nyårsfirandet i mitten av februari.
