Few-shot / zero-shot обучение
Обновлено 11.08.20261 мин
Few-shot — приём, при котором в запрос кладут несколько примеров нужного ответа, и модель повторяет их формат. Zero-shot — тот же запрос без примеров, только с инструкцией.
Как это работает
Модель ничему не учится в процессе — веса не меняются. Примеры просто оказываются в контексте, и продолжение текста естественным образом наследует их структуру. Формально это не обучение, а очень точное указание формата.
Поэтому пара образцов работает лучше абзаца объяснений. Показать, как должен выглядеть ответ, почти всегда короче и надёжнее, чем описать это словами.
Обратная сторона: модель копирует и то, чего вы не имели в виду. Если во всех примерах ответ начинается с глагола или уложен в две строки, она сочтёт это частью задания.
Как составлять примеры
- Два-три достаточноБольше примеров занимают контекст и редко улучшают результат после третьего.
- Включите сложный случайПример с исключением объясняет границы задачи лучше, чем три одинаково простых.
- Следите за случайными закономерностямиОдинаковая длина, порядок или тон во всех примерах будут воспроизведены как требование.
- Если примеров нужно много — это дообучениеДесятки примеров в каждом запросе стоят денег и места. Устойчивое поведение дешевле зашить дообучением.