a questão mais difícil para a aprendizagem contínua é descobrir os benchmarks e as experiências de produto adequados para a destilação de contexto

há uma lista bastante finita de métodos que você gostaria de considerar, que terão compensações em diferentes regimes. atualmente, não é muito óbvio como avaliá-los uns contra os outros, ou para qual problema específico você inicialmente implantaria uma solução.

um extremo: "contínuo" aprendizado em blocos discretos de 6 meses, para um conhecimento intuitivo completo do mundo esperamos realmente que haja algo melhor do que o treinamento pré/médio contínuo de toda a internet + refazer o treinamento normal pós-treinamento?

tipo, claro, talvez você possa fazer a fusão de pesos do antigo ponto de verificação treinado com um novo ponto de verificação CPT para obter algumas economias, talvez você possa apenas CPT certas camadas/expertos, e poderíamos experimentar de forma dispendiosa qual versão disso é a mais prática, mas o espaço de design é conhecido

por "destilação de contexto" quero dizer que você vai querer um pipeline automático que receba informações (transcrições de chat, texto da web, históricos de repositórios) e as organize em algo mais útil para o treinamento médio/pós-treinamento do que a forma bruta (por exemplo, perguntas e respostas básicas)