Odemknutí jednobuněčných základních modelů s 96 % menším počtem parametrů Jednobuněčné velké jazykové modely (scLLM) získaly pozoruhodné biologické znalosti od milionů buněk. Ale mají zásadní slabinu: když je vyjmete z jejich tréninkového kontextu – novou nemoc, neviditelný druh, necharakterizovanou buněčnou populaci – jejich předpovědi se stanou nespolehlivými. Standardní opravou je jemné ladění. Ale jemné ladění přepisuje původní parametry modelu, což způsobuje "katastrofální zapomínání" předem naučených biologických znalostí. A je výpočetně náročný, vyžaduje značné GPU zdroje, které mnoho výzkumníků prostě nemá. Fei He a jeho spoluautoři navrhují scPEFT – parametrově efektivní rámec pro jemné ladění, který zmrazuje původní páteř scLLM a trénuje pouze malé, nízkorozměrné adaptéry. Čtyři typy adaptérů (Token adaptér, Prefix adaptér, LoRA, Encoder adaptér) se zasouvají do různých částí modelové architektury, učí se úpravy specifické pro úkol bez zásahu do předtrénovaných vah. Zvýšení efektivity je výrazné: scPEFT snižuje trénovatelné parametry o více než 96 % a snižuje využití GPU paměti více než na polovinu. Ale tady je to, co je důležité – ve skutečnosti funguje lépe než úplné jemné ladění. Na datových sadách specifických pro onemocnění (NSCLC, MS, COVID-19) dosahuje scPEFT zlepšení přesnosti o 39,7–81,7 % oproti nativním modelům a 4,3–15 % zlepšení oproti jemně vyladěným verzím, právě proto, že uchovává, nikoli přepisuje předtrénované znalosti. Rámec také umožňuje přenos mezi druhy z modelů trénovaných na lidech: 14% zlepšení myších neuronů, 39% zárodečných buněk makaků a 144 % C. elegans – vše využívající ortologické genetické mapování. Analýza pozornosti identifikuje geny související s COVIDem v konkrétních stavech T buněk a odhaluje biologicky relevantní subpopulace, které nejsou viditelné pro jemně vyladěné modely. Širší důsledek: jak se základní modely šíří napříč biologií, potřebujeme efektivní způsoby, jak je přizpůsobit, aniž bychom zničili to, co se naučily. scPEFT ukazuje, že někdy znamená méně aktualizací více se naučit. Článek: