Trendande ämnen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Låser upp single-cell foundation-modeller med 96 % färre parametrar
Encellsmodeller för stora språk (scLLM) har lärt sig anmärkningsvärd biologisk kunskap från miljontals celler. Men de har en kritisk svaghet: ta dem ur deras träningskontext – en ny sjukdom, en osedd art, en okaraktäriserad cellpopulation – och deras förutsägelser blir opålitliga.
Standardlösningen är finjustering. Men finjustering skriver över de ursprungliga modellparametrarna, vilket orsakar "katastrofal glömska" av förinlärd biologisk kunskap. Och det är beräkningsmässigt kostsamt, vilket kräver betydande GPU-resurser som många forskare helt enkelt inte har.
Fei He och medförfattare föreslår scPEFT—ett parametereffektivt finjusteringsramverk som fryser den ursprungliga scLLM-ryggraden och endast tränar små, lågdimensionella adaptrar. Fyra adaptertyper (Token-adapter, Prefix-adapter, LoRA, Encoder-adapter) passar in i olika delar av modellarkitekturen och lär sig uppgiftsspecifika justeringar utan att röra de förtränade vikterna.
Effektivitetsvinsterna är slående: scPEFT minskar träningsbara parametrar med över 96 % och minskar GPU-minnesanvändningen med mer än hälften. Men här är det som räknas—det presterar faktiskt bättre än full finjustering. På sjukdomsspecifika dataset (NSCLC, MS, COVID-19) uppnår scPEFT 39,7–81,7 % noggrannhetsförbättringar jämfört med inbyggda modeller och 4,3–15 % vinster jämfört med finjusterade versioner, just för att den bevarar snarare än skriver över förtränad kunskap.
Ramverket möjliggör också överföring över arter från människotränade modeller: 14 % förbättring på musneuroner, 39 % på makakens kimceller och 144 % på C. elegans – alla med ortologa genkartläggningar. Uppmärksamhetsanalys identifierar COVID-relaterade gener i specifika T-cellstillstånd och avslöjar biologiskt relevanta delpopulationer som är osynliga för finjusterade modeller.
Den bredare implikationen: när grundmodeller sprids inom biologin behöver vi effektiva sätt att anpassa dem utan att förstöra det de lärt sig. scPEFT visar att ibland innebär en mindre uppdatering att lära sig mer.
Papper:

Topp
Rankning
Favoriter
