%96 daha az parametreyle tek hücreli temel modellerin kilidini açmak Tek hücreli büyük dil modelleri (scLLM'ler), milyonlarca hücreden olağanüstü biyolojik bilgi edinmiştir. Ama kritik bir zayıflıkları var: onları eğitim bağlamından çıkarırsanız—yeni bir hastalık, görünmeyen bir tür, tanımlanamayan bir hücre popülasyonu—ve tahminleri güvenilmez hale gelir. Standart çözüm ince ayarlamadır. Ancak ince ayar orijinal model parametrelerinin üzerine yazıyor ve önceden öğrenilmiş biyolojik bilginin "felaket bir şekilde unutulmasına" yol açıyor. Ve hesaplama açısından pahalı, birçok araştırmacının sahip olmadığı önemli GPU kaynakları gerektiriyor. Fei He ve ortak yazarları, orijinal scLLM omurgasını donduran ve sadece küçük, düşük boyutlu adaptörleri eğiten parametre verimli ince ayar çerçevesi olan scPEFT öneriyor. Dört adaptör türü (Token adaptörü, Prefix adaptörü, LoRA, Encoder adapter) model mimarisinin farklı bölümlerine yerleşir ve önceden eğitilmiş ağırlıklara dokunmadan göreve özgü ayarlamaları öğrenir. Verimlilik artışları dikkat çekici: scPEFT eğitilebilir parametreleri %96'dan fazla azaltıyor ve GPU bellek kullanımını yarıdan fazla azaltıyor. Ama önemli olan şu—tam ince ayardan daha iyi performans gösteriyor. Hastalık spesifik veri setlerinde (NSCLC, MS, COVID-19), SCPEFT yerel modellere göre %39,7–81,7 doğruluk artışı ve ince ayarlanmış versiyonlara göre %4,3–15 artış sağlar; çünkü önceden eğitilmiş bilgiyi yerine korur. Çerçeve ayrıca insan tarafından eğitilmiş modellerden türler arası transferi mümkün kılar: fare nöronlarında %14, makak germ hücrelerinde %39 ve C. elegans'ta %144—hepsi ortolog gen haritalamaları kullanılıyor. Dikkat analizi, belirli T hücre durumlarındaki COVID ile ilgili genleri tanımlar ve ince ayarlanmış modellerle görülemeyen biyolojik olarak ilgili alt popülasyonları ortaya çıkarır. Daha geniş anlam: Temel modeller biyoloji genelinde çoğaldıkça, öğrendiklerini yok etmeden onları uyarlamanın verimli yollarına ihtiyacımız var. scPEFT gösteriyor ki bazen daha az güncelleme yapmak daha fazla öğrenmek anlamına geliyor. Makale: