解鎖單細胞基礎模型，參數減少96% 單細胞大型語言模型（scLLMs）從數百萬個細胞中學習了驚人的生物知識。但它們有一個關鍵的弱點：將它們置於訓練上下文之外——新的疾病、未見過的物種、未特徵化的細胞群體——它們的預測變得不可靠。 標準的解決方案是微調。但微調會覆蓋原始模型參數，導致對預先學習的生物知識的“災難性遺忘”。而且這在計算上是昂貴的，需要大量的GPU資源，許多研究人員根本無法獲得。 Fei He及其合著者提出了scPEFT——一種參數高效的微調框架，凍結原始的scLLM主幹，只訓練小型、低維的適配器。四種適配器類型（Token適配器、Prefix適配器、LoRA、編碼器適配器）插入模型架構的不同部分，學習特定任務的調整，而不觸及預訓練的權重。 效率提升令人驚訝：scPEFT將可訓練參數減少超過96%，並將GPU內存使用量減少一半以上。但這裡重要的是——它的表現實際上比完全微調更好。在疾病特定數據集（NSCLC、MS、COVID-19）上，scPEFT在原生模型上實現了39.7%–81.7%的準確率提升，並在微調版本上實現了4.3%–15%的增益，正是因為它保留而不是覆蓋預訓練的知識。 該框架還使得從人類訓練模型進行跨物種轉移成為可能：在小鼠神經元上提高14%，在猕猴生殖細胞上提高39%，在秀麗隱杆線蟲上提高144%——所有這些都使用同源基因映射。注意力分析識別了特定T細胞狀態中的COVID相關基因，並揭示了對微調模型不可見的生物學相關亞群。 更廣泛的含義是：隨著基礎模型在生物學中普及，我們需要有效的方法來調整它們，而不破壞它們所學到的知識。scPEFT顯示，有時候，更新得少意味著學習得多。 論文：

受神經科學啟發的架構，用於構建真正自適應的AI 現代AI系統強大但脆弱。訓練一個模型，部署它，然後隨著世界的變化，觀察性能下降。對新數據進行再訓練，模型卻忘記了它所知道的東西。這個循環產生的系統在靜態基準上表現出色，但在持續適應方面卻掙扎——這是生物智能輕而易舉地處理的事情。 一隻老鼠可以在大約十次嘗試中學會在新迷宮中找到水，這一學習速度比傳統實驗室任務快1,000倍。然而，我們最複雜的神經網絡在被要求進行順序學習時卻遭遇了災難性的遺忘。 大腦提供了一種不同的架構。它不是作為一個單一的糾結網絡運作，而是作為智能互聯的專門模塊——視覺皮層處理邊緣，運動皮層在力空間中計算，前額葉區域跟踪任務結構化記憶。每個模塊通過預測誤差更新內部模型，當預期結果與現實發生偏差時。這些簽名教學信號現在已在感覺、運動和獎勵電路中被發現。 麥肯齊·韋根特·馬提斯將這些見解綜合成一個自適應代理AI的提案。她主張，與其追求越來越大的單一基礎模型，不如建立一套領域特定的編碼器系統，其輸出在共享潛在空間中共同優化。每個編碼器都受到預測誤差信號的監控——穩健的編碼器保持“鎖定”，而那些顯示性能下降的編碼器則被“解鎖”，以便通過記憶重播或突觸智能進行持續學習，而無需將整個系統下線。 更廣泛的原則是：通過圍繞受神經科學啟發的模塊化和基於預測誤差的更新來構建AI，而不是單一的規模，便可以超越靜態模型，朝著真正自適應的智能邁進——這些系統通過與世界的互動不斷完善其模型。 論文：

人類的學習方式是否像變壓器一樣？ 這是一個聽起來幾乎是哲學性的問題，但Pesnot Lerousseau和Summerfield將其轉化為一個嚴謹的實驗。他們在相同的規則學習任務上訓練了530名人類和小型變壓器網絡，然後操控了一個變數：訓練範例的統計分佈——從完全多樣化（每個範例都是獨特的）到高度冗餘（相同的項目重複出現）。 結果令人驚訝。人類和變壓器對這種操控的敏感性幾乎完全相同。在多樣化數據上訓練，學習者將規則概括到新情境中（「上下文學習」）。在冗餘數據上訓練，他們則記住特定範例（「權重學習」）。這兩種策略之間的轉變在生物系統和人工系統中都發生在相同的關鍵點（Zipf指數α ≈ 1）。兩者都不容易同時做到這一點——直到你給他們一個混合多樣性和冗餘的綜合分佈，此時人類和變壓器都成為了「雙重學習者」。 但他們的分歧在於：人類受益於課程。早期呈現多樣化範例，人們能夠發現可概括的規則，而不會失去後來記憶的能力。相比之下，變壓器則遭受災難性干擾——他們第二次學到的東西會覆蓋第一次學到的東西。 對於AI和教育的啟示是：訓練數據的結構與其內容一樣重要。儘管變壓器在某些驚人的方式上可能與人類學習相匹配，但它們仍然缺乏讓我們受益於精心設計課程的靈活性。 論文：