Розблокування одиночних базових моделей з 96% меншими параметрами Одноклітинні великі мовні моделі (scLLM) отримали дивовижні біологічні знання з мільйонів клітин. Але у них є критична слабкість: якщо вивести їх із навчального контексту — нову хворобу, невидимий вид, неописану клітинну популяцію — їхні прогнози стають ненадійними. Стандартне рішення — це тонке налаштування. Але тонке налаштування переписує початкові параметри моделі, спричиняючи «катастрофічне забуття» заздалегідь засвоєних біологічних знань. І це обчислювально дорого, потребуючи значних ресурсів GPU, яких у багатьох дослідників просто немає. Фей Він і співавтори пропонують scPEFT — параметро-ефективний фреймворк тонкого налаштування, який заморожує початкову основу scLLM і навчає лише малі малорозмірні адаптери. Чотири типи адаптерів (Token adapter, Prefix adapter, LoRA, Encoder adapter) розміщуються в різні частини архітектури моделі, вивчаючи специфічні налаштування завдань без контакту з попередньо навченими вагами. Підвищення ефективності вражає: scPEFT зменшує параметри навчаності більш ніж на 96% і скорочує використання пам'яті GPU більш ніж удвічі. Але ось що важливо — він насправді працює краще, ніж повне тонке налаштування. На наборах даних, специфічних для хвороб (NSCLC, MS, COVID-19), scPEFT досягає покращення точності на 39,7–81,7% порівняно з нативними моделями та 4,3–15% порівняно з точними версіями, саме тому, що зберігає, а не перезаписує попередньо навчені знання. Фреймворк також дозволяє здійснювати міжвидову передачу з моделей, навчених людиною: покращення нейронів мишей на 14%, на зародкові клітини макаки на 39% і на 144% на C. elegans — усі вони використовують ортологічні генетичні картування. Аналіз уваги виявляє гени, пов'язані з COVID, у специфічних станах Т-клітин, і виявляє біологічно релевантні субпопуляції, невидимі для тонко налаштованих моделей. Ширший висновок: оскільки базові моделі множаться в біології, нам потрібні ефективні способи їх адаптації, не знищуючи того, чого вони навчились. scPEFT показує, що іноді менше оновлюватися означає навчатися більше. Стаття: