Mở khóa các mô hình nền tảng tế bào đơn với 96% số tham số ít hơn Các mô hình ngôn ngữ lớn tế bào đơn (scLLMs) đã học được những kiến thức sinh học đáng kể từ hàng triệu tế bào. Nhưng chúng có một điểm yếu nghiêm trọng: khi đưa chúng ra khỏi bối cảnh đào tạo của chúng—một căn bệnh mới, một loài chưa thấy, một quần thể tế bào chưa được mô tả—dự đoán của chúng trở nên không đáng tin cậy. Cách khắc phục tiêu chuẩn là tinh chỉnh. Nhưng tinh chỉnh ghi đè lên các tham số mô hình gốc, gây ra "quên thảm khốc" những kiến thức sinh học đã học trước đó. Và nó tốn kém về mặt tính toán, yêu cầu tài nguyên GPU đáng kể mà nhiều nhà nghiên cứu đơn giản là không có. Fei He và các đồng tác giả đề xuất scPEFT—một khung tinh chỉnh hiệu quả tham số mà đóng băng phần xương sống scLLM gốc và chỉ đào tạo các bộ điều chỉnh nhỏ, có kích thước thấp. Bốn loại bộ điều chỉnh (Bộ điều chỉnh Token, Bộ điều chỉnh Tiền tố, LoRA, Bộ điều chỉnh Bộ mã hóa) được lắp vào các phần khác nhau của kiến trúc mô hình, học các điều chỉnh cụ thể cho nhiệm vụ mà không chạm vào các trọng số đã được đào tạo trước. Các lợi ích về hiệu suất thật ấn tượng: scPEFT giảm số tham số có thể đào tạo xuống hơn 96% và cắt giảm việc sử dụng bộ nhớ GPU hơn một nửa. Nhưng điều quan trọng là—nó thực sự hoạt động tốt hơn so với tinh chỉnh đầy đủ. Trên các tập dữ liệu cụ thể về bệnh (NSCLC, MS, COVID-19), scPEFT đạt được cải thiện độ chính xác từ 39.7–81.7% so với các mô hình gốc và 4.3–15% so với các phiên bản đã được tinh chỉnh, chính xác vì nó bảo tồn chứ không ghi đè lên kiến thức đã được đào tạo trước. Khung này cũng cho phép chuyển giao giữa các loài từ các mô hình được đào tạo trên người: cải thiện 14% trên các nơron chuột, 39% trên các tế bào sinh dục khỉ macaque, và 144% trên C. elegans—tất cả đều sử dụng các ánh xạ gen đồng loại. Phân tích sự chú ý xác định các gen liên quan đến COVID trong các trạng thái tế bào T cụ thể và phát hiện các quần thể sinh học có liên quan mà các mô hình đã được tinh chỉnh không nhìn thấy. Ý nghĩa rộng hơn: khi các mô hình nền tảng phát triển mạnh mẽ trong sinh học, chúng ta cần những cách hiệu quả để điều chỉnh chúng mà không phá hủy những gì chúng đã học. scPEFT cho thấy rằng đôi khi, cập nhật ít hơn có nghĩa là học nhiều hơn. Bài báo: