Найскладніше відкрите питання для безперервного навчання — визначити правильні еталони та досвід продукту для контекстної дистиляції

Існує досить обмежений список методів, які варто розглянути, і які матимуть компроміси в різних режимах. Просто наразі не зовсім зрозуміло, як їх порівнювати між собою або для якої конкретної проблеми спочатку розгортати рішення

Одна крайність: «безперервне» навчання на 6-місячних дискретних блоках для повного інтуїтивного знання світу Чи справді ми очікуємо, що буде щось краще, ніж продовження повного інтернету до чи середини навчання + повторне проходження звичайного післятренування?

Можливо, можна зробити об'єднання старої посттренованої контрольної точки з новою CPT-контрольною точкою, щоб заощадити, можливо, можна просто CPT певних рівнів/експертів, і ми могли б дорого експериментувати, яка версія цього є найпрактичнішою, але простір дизайну відомий

Під «дистиляцією контексту» я маю на увазі, що вам потрібен автоматичний конвеєр, який приймає інформаційні дампи (транскрипти чатів, веб-текст, історії репозиторії) і перетворює їх на щось корисніше для середнього чи післятренінгу, ніж у сирій формі (наприклад, базові Q&A)