Deblocarea modelelor de fundație cu o singură celulă cu 96% mai puțini parametri Modelele lingvistice mari cu o singură celulă (scLLM) au învățat cunoștințe biologice remarcabile de la milioane de celule. Dar au o slăbiciune critică: scoate-i din contextul lor de antrenament—o boală nouă, o specie nevăzută, o populație celulară necaracterizată—și predicțiile lor devin nesigure. Soluția standard este reglarea fină. Dar ajustarea fină suprascrie parametrii originali ai modelului, cauzând o "uitare catastrofală" a cunoștințelor biologice pre-învățate. Și este costisitor din punct de vedere computațional, necesitând resurse substanțiale de GPU pe care mulți cercetători pur și simplu nu le au. Fei He și coautorii propun scPEFT — un cadru de reglare fină eficient din punct de vedere parametric care îngheață coloana vertebrală originală scLLM și antrenează doar adaptoare mici, de dimensiuni joase. Patru tipuri de adaptoare (adaptor Token, adaptor Prefix, LoRA, adaptor Encoder) se integrează în diferite părți ale arhitecturii modelului, învățând ajustările specifice sarcinii fără a atinge greutățile preantrenate. Câștigurile de eficiență sunt remarcabile: scPEFT reduce parametrii antrenabili cu peste 96% și reduce utilizarea memoriei GPU cu mai mult de jumătate. Dar iată ce contează—de fapt, performează mai bine decât reglajele fine complete. Pe seturile de date specifice bolii (NSCLC, MS, COVID-19), scPEFT obține îmbunătățiri de acuratețe de 39,7–81,7% față de modelele native și câștiguri de 4,3–15% față de versiunile fin reglate, tocmai pentru că păstrează, nu suprascrie cunoștințele preantrenate. Cadrul permite, de asemenea, transferul între specii din modele antrenate de om: o îmbunătățire de 14% la neuronii șoareci, 39% la celulele germinale macac și 144% la C. elegans — toate folosind mapări genetice ortologe. Analiza atenției identifică genele legate de COVID în stări specifice ale celulelor T și dezvăluie subpopulații biologic relevante, invizibile modelelor bine ajustate. Implicația mai largă: pe măsură ce modelele de fundație se înmulțesc în biologie, avem nevoie de modalități eficiente de a le adapta fără a distruge ceea ce au învățat. scPEFT arată că uneori, actualizarea mai puțin înseamnă să înveți mai mult. Hârtie: