Файнтюнинг (дообучение)
Дообучение — донастройка готовой модели на своих примерах, чтобы она усвоила нужный стиль, формат или узкую задачу. Веса при этом меняются, в отличие от промптов и RAG, которые работают только с контекстом.
Как это работает
За основу берётся уже обученная модель, и на наборе пар «запрос — желаемый ответ» её веса слегка сдвигаются. Обучать с нуля не нужно: язык и знания о мире модель уже усвоила, донастраивается только поведение.
Чаще всего меняют не все веса, а небольшую добавку к ним — так дообучение обходится в тысячи раз дешевле полного и умещается на одной видеокарте. Результат хранится отдельно и подключается к базовой модели.
Качество упирается в данные, а не в объём. Несколько сотен аккуратно подобранных примеров дают лучший результат, чем десятки тысяч случайных: модель усваивает и ошибки тоже.
Когда это нужно и когда нет
- Нужно: устойчивый формат выводаЕсли модель обязана всегда отвечать одной и той же структурой, дообучение надёжнее длинной инструкции в промпте.
- Нужно: свой стиль или жаргонРедакционный тон и отраслевая терминология передаются примерами лучше, чем описанием.
- Не нужно: добавить знанияДля фактов есть RAG. Дообучение плохо запоминает конкретные сведения и не позволяет их обновлять.
- Не нужно: сначала попробуйте промптЗначительная часть задач, под которые заказывают дообучение, решается точным запросом и парой примеров.