Tópicos em alta
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Desbloqueando modelos de fundação de célula única com 96% menos parâmetros
Modelos de linguagem de grande escala de célula única (scLLMs) aprenderam conhecimentos biológicos notáveis de milhões de células. Mas eles têm uma fraqueza crítica: tirá-los do contexto de treinamento — uma nova doença, uma espécie invisível, uma população celular não caracterizada — e suas previsões se tornam pouco confiáveis.
A solução padrão é o ajuste fino. Mas o ajuste fino sobrescreve os parâmetros originais do modelo, causando um "esquecimento catastrófico" do conhecimento biológico pré-aprendido. E é computacionalmente caro, exigindo recursos substanciais de GPU que muitos pesquisadores simplesmente não possuem.
Fei He e coautores propõem o scPEFT — um framework de ajuste fino eficiente em parâmetros que congela a espinha dorsal original do scLLM e treina apenas pequenos adaptadores de baixa dimensão. Quatro tipos de adaptadores (adaptador Token, adaptador Prefix, LoRA, adaptador Encoder) se encaixam em diferentes partes da arquitetura do modelo, aprendendo ajustes específicos da tarefa sem tocar nos pesos pré-treinados.
Os ganhos de eficiência são impressionantes: o scPEFT reduz os parâmetros treináveis em mais de 96% e reduz o uso da memória da GPU em mais da metade. Mas o que importa é o seguinte—na verdade, ele funciona melhor do que um ajuste fino completo. Em conjuntos de dados específicos de doenças (NSCLC, MS, COVID-19), o scPEFT alcança melhorias de precisão de 39,7–81,7% em relação aos modelos nativos e ganhos de 4,3–15% em relação às versões ajustadas, justamente porque preserva, em vez de sobrescrever, conhecimento pré-treinado.
A estrutura também permite a transferência entre espécies a partir de modelos treinados por humanos: melhora de 14% nos neurônios do camundongo, 39% nas células germinativas do macaco e 144% em C. elegans — todos usando mapeamentos gênicos ortologos. A análise de atenção identifica genes relacionados à COVID em estados específicos das células T e revela subpopulações biologicamente relevantes invisíveis a modelos finamente ajustados.
A implicação mais ampla: à medida que os modelos de fundação proliferam na biologia, precisamos de formas eficientes de adaptá-los sem destruir o que aprenderam. O scPEFT mostra que, às vezes, atualizar menos significa aprender mais.
Papel:

Melhores
Classificação
Favoritos
