Sblocco dei modelli fondazionali a singola cellula con il 96% di parametri in meno I modelli di linguaggio di grandi dimensioni a singola cellula (scLLMs) hanno appreso conoscenze biologiche straordinarie da milioni di cellule. Ma hanno una debolezza critica: estrarli dal loro contesto di addestramento—una nuova malattia, una specie mai vista, una popolazione cellulare non caratterizzata—e le loro previsioni diventano inaffidabili. La soluzione standard è il fine-tuning. Ma il fine-tuning sovrascrive i parametri originali del modello, causando "dimenticanza catastrofica" delle conoscenze biologiche apprese in precedenza. E richiede molte risorse computazionali, necessitando di sostanziali risorse GPU che molti ricercatori semplicemente non hanno. Fei He e i coautori propongono scPEFT—un framework di fine-tuning efficiente in termini di parametri che congela il backbone originale dello scLLM e allena solo piccoli adattatori a bassa dimensione. Quattro tipi di adattatori (adattatore Token, adattatore Prefix, LoRA, adattatore Encoder) si inseriscono in diverse parti dell'architettura del modello, apprendendo aggiustamenti specifici per il compito senza toccare i pesi pre-addestrati. I guadagni in efficienza sono notevoli: scPEFT riduce i parametri addestrabili di oltre il 96% e taglia l'uso della memoria GPU di più della metà. Ma ecco ciò che conta: in realtà performa meglio del fine-tuning completo. Su dataset specifici per malattie (NSCLC, MS, COVID-19), scPEFT raggiunge miglioramenti di accuratezza dal 39,7% all'81,7% rispetto ai modelli nativi e guadagni dal 4,3% al 15% rispetto alle versioni fine-tuned, precisamente perché preserva piuttosto che sovrascrivere le conoscenze pre-addestrate. Il framework consente anche il trasferimento interspecifico da modelli addestrati su umani: miglioramento del 14% sui neuroni dei topi, 39% sulle cellule germinali delle scimmie macaco e 144% su C. elegans—tutti utilizzando mappature geniche ortologhe. L'analisi dell'attenzione identifica geni correlati al COVID in stati specifici delle cellule T e scopre sottopopolazioni biologicamente rilevanti invisibili ai modelli fine-tuned. L'implicazione più ampia: man mano che i modelli fondazionali proliferano in biologia, abbiamo bisogno di modi efficienti per adattarli senza distruggere ciò che hanno appreso. scPEFT dimostra che a volte, aggiornare meno significa apprendere di più. Articolo: