Foundation model (базовая модель)
Базовая модель — крупная модель, обученная на широких данных и предназначенная не для одной задачи, а как основа для многих. Её адаптируют промптами, дообучением или инструментами вместо того, чтобы обучать новую с нуля.
Что изменил этот подход
Раньше под каждую задачу обучали отдельную модель на размеченных данных: одна для тональности отзывов, другая для классификации писем, третья для перевода. Каждая требовала своего набора данных и своей команды.
Базовая модель обучается один раз на огромном общем корпусе, а дальше применяется ко всем этим задачам без переобучения. Стоимость входа для прикладной задачи упала с месяцев работы до нескольких строк запроса.
Оборотная сторона — концентрация. Обучение таких моделей по силам единицам компаний, и остальные строят на чужом фундаменте, наследуя его ограничения и смещения.
Как их адаптируют
- ПромптСамый дешёвый способ: задача описывается словами и примерами прямо в запросе. Ничего не меняется в модели.
- RAGДобавляет знания, которых у модели не было: свежие или закрытые данные подставляются в контекст.
- ДообучениеМеняет поведение: стиль, формат, узкую специализацию. Дороже промпта, но устойчивее.
- ИнструментыДоступ к поиску, коду и внешним системам расширяет возможности, не трогая саму модель.