Вигин простору для відповідності енергії: як геометрія дозволяє прогнозувати молекулярну структуру до хімічної точності Передбачення тривимірної структури молекули — де саме кожен атом знаходиться у просторі — є фундаментальним для обчислювальної хімії. Якщо трохи помилитися, ваші енергетичні розрахунки можуть сильно помилитися. Золотим стандартом є теорія функціональної щільності, але DFT повільний і дорогий. Машинне навчання пропонує швидший шлях: навчити модель знищувати приблизне початкове здогадування у точну структуру. Проблема полягає в тому, що більшість моделей дешуму працюють у звичайному евклідовому просторі, де всі напрямки розглядаються однаково. Але молекули так не працюють. Розтягування зв'язку коштує набагато більше енергії, ніж обертання навколо нього. Рівні відстані в декартових координатах не означають рівних змін енергії. Джехон Ву та співавтори безпосередньо розглядають цю невідповідність. Вони побудовують рімановий многовид — кривий простір із метрикою, залежною від позиції, — спроектований так, щоб геодезична відстань корелювала з різницею енергії. Метрика побудована на основі фізично обґрунтованих внутрішніх координат, які зважують міжатомні відстані за кількістю енергії, необхідної для їх зміни: жорсткі зв'язки важливіші за м'які торсії. Порівнюючи геодезичну відстань зі стандартним RMSD, кореляція з енергією зростає з 0,37 до 0,90. Тренування моделі дешуму на цьому кривому просторі змінює те, що модель засвоює. У евклідовому просторі додавання ізотропного шуму може розірвати зв'язки або створювати неможливі геометрії — структури на сотні ккал/моль понад мінімум. На рімановому многовиді однакова величина шуму підтримує молекули хімічно чутливими, залишаючись у межах однієї й тієї ж потенційної ями. Сам шлях дешуму слідує геодезичкам, які відстежують мінімізацію енергії, а не довільних прямих ліній через декартовий простір. Результати досягають важливого порогу: хімічної точності, визначеної як енергетична похибка нижче 1 ккал/моль. У бенчмарку QM9 ріманова модель досягає медіанної похибки 0,177 ккал/моль — приблизно на 20× краще, ніж початкові структури силового поля, і значно краще, ніж евклідова версія. Коли ці прогнози використовуються як відправні точки для вдосконалення DFT, обчислювальна вартість знижується більш ніж удвічі. Глибша думка: у молекулярному моделюванні геометрія простору представлень не є нейтральною. Евклідовий простір розглядає всі атомні переміщення як еквівалентні; Рімановий простір може кодувати фізику. Коли ви вирівнюєте геометричну відстань із енергетичними витратами, шумозахід стає оптимізацією, і модель вчиться слідувати за потенційною енергетичною поверхнею, а не боротися з нею. Стаття:

Розблокування одиночних базових моделей з 96% меншими параметрами Одноклітинні великі мовні моделі (scLLM) отримали дивовижні біологічні знання з мільйонів клітин. Але у них є критична слабкість: якщо вивести їх із навчального контексту — нову хворобу, невидимий вид, неописану клітинну популяцію — їхні прогнози стають ненадійними. Стандартне рішення — це тонке налаштування. Але тонке налаштування переписує початкові параметри моделі, спричиняючи «катастрофічне забуття» заздалегідь засвоєних біологічних знань. І це обчислювально дорого, потребуючи значних ресурсів GPU, яких у багатьох дослідників просто немає. Фей Він і співавтори пропонують scPEFT — параметро-ефективний фреймворк тонкого налаштування, який заморожує початкову основу scLLM і навчає лише малі малорозмірні адаптери. Чотири типи адаптерів (Token adapter, Prefix adapter, LoRA, Encoder adapter) розміщуються в різні частини архітектури моделі, вивчаючи специфічні налаштування завдань без контакту з попередньо навченими вагами. Підвищення ефективності вражає: scPEFT зменшує параметри навчаності більш ніж на 96% і скорочує використання пам'яті GPU більш ніж удвічі. Але ось що важливо — він насправді працює краще, ніж повне тонке налаштування. На наборах даних, специфічних для хвороб (NSCLC, MS, COVID-19), scPEFT досягає покращення точності на 39,7–81,7% порівняно з нативними моделями та 4,3–15% порівняно з точними версіями, саме тому, що зберігає, а не перезаписує попередньо навчені знання. Фреймворк також дозволяє здійснювати міжвидову передачу з моделей, навчених людиною: покращення нейронів мишей на 14%, на зародкові клітини макаки на 39% і на 144% на C. elegans — усі вони використовують ортологічні генетичні картування. Аналіз уваги виявляє гени, пов'язані з COVID, у специфічних станах Т-клітин, і виявляє біологічно релевантні субпопуляції, невидимі для тонко налаштованих моделей. Ширший висновок: оскільки базові моделі множаться в біології, нам потрібні ефективні способи їх адаптації, не знищуючи того, чого вони навчились. scPEFT показує, що іноді менше оновлюватися означає навчатися більше. Стаття:

Архітектури, натхненні нейронаукою, для створення справді адаптивного ШІ Сучасні системи штучного інтелекту потужні, але крихкі. Навчіть модель, розгорніть її і спостерігайте, як продуктивність погіршується, коли світ змінюється. Перенавчаєшся на нових даних, і модель забуває те, що знала. Цей цикл створює системи, які досягають стабільних показників, але мають труднощі з постійною адаптацією — з чим біологічний інтелект справляється без зусиль. Миша може навчитися знаходити воду в новому лабіринті приблизно за десять спроб — швидкість навчання у 1000 разів швидша, ніж у традиційних лабораторних завданнях. Проте наші найскладніші нейронні мережі зазнають катастрофічного забуття, коли їх просять вчитися послідовно. Мозок пропонує іншу архітектуру. Вона працює не як єдина заплутана мережа, а як розумно взаємопов'язані спеціалізовані модулі — краї обробки візуальної кори, обчислення моторної кори у просторі сил, префронтальні області, що відстежують структуровану пам'ять, структуровану за завданнями. Кожен модуль створює внутрішні моделі, які оновлюються через помилки прогнозування, коли очікувані результати відрізняються від реальності. Ці знакові навчальні сигнали вже виявлені у сенсорних, моторних і винагородних схемах. Маккензі Вейгандт Матіс синтезує ці ідеї у пропозицію адаптивного агентного ШІ. Замість того, щоб шукати все більші монолітні фундаментальні моделі, вона виступає за системи доменно-специфічних енкодерів, результати яких спільно оптимізуються у спільному латентному просторі. Кожен енкодер контролюється сигналами прогнозування помилок — надійні енкодери залишаються «заблокованими», тоді як ті, що показують погіршену продуктивність, «розблоковуються» для безперервного навчання за допомогою відтворення пам'яті або синаптичного інтелекту, не виводячи всю систему з ладу. Ширший принцип: структуруючи ШІ навколо модульності, натхненної нейронаукою, та оновлення на основі помилок прогнозування, а не монолітного масштабу, стає можливим вийти за межі статичних моделей до справді адаптивного інтелекту — систем, які постійно вдосконалюють свої моделі світу через взаємодію з ним. Стаття: