la pregunta abierta más difícil para el aprendizaje continuo es averiguar los benchmarks y las experiencias de producto adecuadas para la destilación de contexto

hay una lista bastante finita de métodos que querrías considerar, los cuales tendrán compensaciones en diferentes regímenes. actualmente no es muy obvio cómo evaluarlos entre sí, o para qué problema específico implementarías inicialmente una solución.

un extremo: "aprendizaje" continuo en bloques discretos de 6 meses, para un conocimiento intuitivo completo del mundo ¿realmente esperamos que haya algo mejor que la formación previa/mediada en toda la internet + rehacer la formación posterior normal?

como seguro, tal vez puedas hacer una fusión de pesos del antiguo punto de control entrenado con un nuevo punto de control CPT para obtener algunos ahorros, tal vez solo puedas CPT ciertas capas/expertos, y podríamos experimentar costosamente sobre qué versión de esto es la más práctica, pero el espacio de diseño es conocido

por "destilación de contexto" me refiero a que querrás un pipeline automático que tome volúmenes de información (transcripciones de chat, texto web, historiales de repositorios) y los transforme en algo más útil para el entrenamiento medio/post que la forma cruda (por ejemplo, preguntas y respuestas básicas)