Sblocco dei modelli fondazionali a singola cellula con il 96% di parametri in meno I modelli di linguaggio di grandi dimensioni a singola cellula (scLLMs) hanno appreso conoscenze biologiche straordinarie da milioni di cellule. Ma hanno una debolezza critica: estrarli dal loro contesto di addestramento—una nuova malattia, una specie mai vista, una popolazione cellulare non caratterizzata—e le loro previsioni diventano inaffidabili. La soluzione standard è il fine-tuning. Ma il fine-tuning sovrascrive i parametri originali del modello, causando "dimenticanza catastrofica" delle conoscenze biologiche apprese in precedenza. E richiede molte risorse computazionali, necessitando di sostanziali risorse GPU che molti ricercatori semplicemente non hanno. Fei He e i coautori propongono scPEFT—un framework di fine-tuning efficiente in termini di parametri che congela il backbone originale dello scLLM e allena solo piccoli adattatori a bassa dimensione. Quattro tipi di adattatori (adattatore Token, adattatore Prefix, LoRA, adattatore Encoder) si inseriscono in diverse parti dell'architettura del modello, apprendendo aggiustamenti specifici per il compito senza toccare i pesi pre-addestrati. I guadagni in efficienza sono notevoli: scPEFT riduce i parametri addestrabili di oltre il 96% e taglia l'uso della memoria GPU di più della metà. Ma ecco ciò che conta: in realtà performa meglio del fine-tuning completo. Su dataset specifici per malattie (NSCLC, MS, COVID-19), scPEFT raggiunge miglioramenti di accuratezza dal 39,7% all'81,7% rispetto ai modelli nativi e guadagni dal 4,3% al 15% rispetto alle versioni fine-tuned, precisamente perché preserva piuttosto che sovrascrivere le conoscenze pre-addestrate. Il framework consente anche il trasferimento interspecifico da modelli addestrati su umani: miglioramento del 14% sui neuroni dei topi, 39% sulle cellule germinali delle scimmie macaco e 144% su C. elegans—tutti utilizzando mappature geniche ortologhe. L'analisi dell'attenzione identifica geni correlati al COVID in stati specifici delle cellule T e scopre sottopopolazioni biologicamente rilevanti invisibili ai modelli fine-tuned. L'implicazione più ampia: man mano che i modelli fondazionali proliferano in biologia, abbiamo bisogno di modi efficienti per adattarli senza distruggere ciò che hanno appreso. scPEFT dimostra che a volte, aggiornare meno significa apprendere di più. Articolo:

Architetture ispirate alle neuroscienze per costruire AI veramente adattive I moderni sistemi di AI sono potenti ma fragili. Allena un modello, distribuiscilo e osserva come le prestazioni degradano mentre il mondo cambia. Riaddestra su nuovi dati e il modello dimentica ciò che sapeva. Questo ciclo produce sistemi che eccellono in benchmark statici ma faticano con l'adattamento continuo—qualcosa che l'intelligenza biologica gestisce senza sforzo. Un topo può apprendere in pochi tentativi a trovare acqua in un labirinto nuovo in circa dieci prove, un tasso di apprendimento 1.000 volte più veloce rispetto ai compiti tradizionali di laboratorio. Eppure, le nostre reti neurali più sofisticate soffrono di oblio catastrofico quando vengono chieste di apprendere in modo sequenziale. Il cervello offre un'architettura diversa. Non opera come una singola rete aggrovigliata, ma come moduli specializzati interconnessi in modo intelligente—la corteccia visiva elabora i bordi, la corteccia motoria calcola nello spazio della forza, le regioni prefrontali tracciano la memoria strutturata per compiti. Ogni modulo costruisce modelli interni aggiornati attraverso errori di previsione quando i risultati attesi divergono dalla realtà. Questi segnali di insegnamento firmati sono stati ora scoperti in circuiti sensoriali, motori e di ricompensa. Mackenzie Weygandt Mathis sintetizza queste intuizioni in una proposta per un'AI agentica adattiva. Piuttosto che perseguire modelli fondazionali sempre più grandi e monolitici, sostiene sistemi di codificatori specifici per dominio i cui output sono ottimizzati congiuntamente in uno spazio latente condiviso. Ogni codificatore è monitorato da segnali di errore di previsione—i codificatori robusti rimangono "bloccati" mentre quelli che mostrano prestazioni degradate vengono "sbloccati" per un apprendimento continuo utilizzando il ripasso della memoria o l'intelligenza sinaptica, senza dover mettere offline l'intero sistema. Il principio più ampio: strutturando l'AI attorno alla modularità ispirata alle neuroscienze e all'aggiornamento basato sugli errori di previsione piuttosto che su una scala monolitica, diventa possibile andare oltre i modelli statici verso un'intelligenza genuinamente adattiva—sistemi che affinano continuamente i loro modelli del mondo attraverso l'interazione con esso. Carta:

Gli esseri umani apprendono come i trasformatori? È una domanda che suona quasi filosofica, ma Pesnot Lerousseau e Summerfield l'hanno trasformata in un esperimento rigoroso. Hanno addestrato sia gli esseri umani (n = 530) che piccole reti di trasformatori sullo stesso compito di apprendimento delle regole, quindi hanno manipolato una singola variabile: la distribuzione statistica degli esempi di addestramento—da completamente diversificata (ogni esempio unico) a altamente ridondante (gli stessi elementi ripetuti più e più volte). Il risultato è sorprendente. Sia gli esseri umani che i trasformatori mostrano una sensibilità quasi identica a questa manipolazione. Addestrati su dati diversificati, gli apprendenti generalizzano le regole a situazioni nuove ("apprendimento in contesto"). Addestrati su dati ridondanti, memorizzano esempi specifici ("apprendimento in pesi"). La transizione tra strategie avviene nello stesso punto critico (esponente di Zipf α ≈ 1) sia nei sistemi biologici che in quelli artificiali. Nessuno dei due può facilmente fare entrambe le cose—fino a quando non gli dai una distribuzione composita che mescola diversità e ridondanza, a quel punto sia gli esseri umani che i trasformatori diventano "apprendenti doppi." Ma qui è dove divergono: gli esseri umani traggono beneficio dai curricula. Presentare esempi diversificati all'inizio, e le persone scoprono la regola generalizzabile senza perdere la capacità di memorizzare in seguito. I trasformatori, al contrario, soffrono di interferenza catastrofica—qualunque cosa apprendano per seconda sovrascrive ciò che è venuto prima. L'implicazione per l'IA e l'istruzione è chiara: la struttura dei dati di addestramento è importante tanto quanto il suo contenuto. E mentre i trasformatori possono eguagliare l'apprendimento umano in modi sorprendenti, mancano ancora della flessibilità che ci consente di beneficiare di curricula ben progettati. Articolo: