OpenAI заявила 97,9% точности на своём тесте миграции COBOL

OpenAI опубликовала 19 октября результат по COBOL, который читается как конец проблемы, которую банковская отрасль несёт сорок лет. Модель GPT-6.1 Sol набрала 97,9% побайтового совпадения поведения при переводе программ на COBOL против 5,4% у предыдущей модели — рост в шестнадцать раз. На низком уровне рассуждений она дала 86,6% и при этом на 39% дешевле за вызов. Результаты MultiLangBench выложены на GitHub, проверить может кто угодно.

“Оценка нацелена на краевые случаи в округлении, обработке отсутствующих записей и специфических для COBOL числовых приведениях.”

— Результаты OpenAI MultiLangBench, опубликованы 19 октября 2026 года, https://www.techtimes.com/articles/329306/20261021/gpt-6-cracks-cobol-979-migration-accuracy-shifts-ai-bottleneck-code-enterprise.htm

А теперь арифметика, к которой этот процент сам и приглашает. 97,9% означает, что 2,1% строк ведут себя иначе, чем в оригинале. На одной программе в 100 000 строк это 2100 строк, делающих не то, что банк о них думает, и найти, какие именно, — и есть вся работа. Оценки того, сколько COBOL ещё в эксплуатации, начинаются от 250 млрд строк; 2,1% от нижней оценки — это 5,25 млрд строк. На дешёвой настройке — 33,5 млрд.

Где тест заканчивается

Миграция COBOL при этом заканчивается не там, где заканчивается тест: он обрывается ровно перед тем местом, где такие проекты и проваливаются. В него не входят копибуки — общие описания структур данных, от которых зависит каждая программа, — ни потоки заданий JCL, ни транзакционная среда CICS, ни связи между файлами. В банке это не краевые случаи, это и есть система. Перевод самого кода COBOL — ровно та часть миграции, которая никогда не была трудной.

Anthropic зашла на тот же рынок с другого конца ещё в феврале, направив Claude Code не на перевод, а на разведку: прочитать всю кодовую базу, построить карту зависимостей, проследить пути исполнения, вытащить наружу связи, которые никто не задокументировал. IBM продаёт watsonx Code Assistant для превращения COBOL в Java. Три поставщика и три разных утверждения о том, какая именно часть задачи и есть задача. Ставки формулируются просто, а вот застраховаться от них трудно. По данным IBM, на COBOL работают 95% банкоматных операций в мире и 80% карточных платежей при личном присутствии, и каждая такая транзакция проходит через код, который предлагают переписывать по проценту совпадения. Миграция, верная на 97,9%, — это миграция, которая незаметно меняет поведение 2,1% из них, а округление и обработка отсутствующих записей — ровно те категории, которые сам тест называет самыми трудными.

Настоящая цифра на узкий вопрос

Мы это уже проходили: тест отвечал на более узкий вопрос, чем обещал заголовок, когда модель на 30 млрд обошла флагман Nvidia на её же задаче. Цифра настоящая, тест опубликован — это больше, чем предлагает большинство поставщиков. Не покрыто в нём то, куда ушли эти сорок лет.

Ничего из перечисленного не стоит воспринимать как персональную инвестиционную рекомендацию. 97,9% — собственный тест OpenAI на собственной модели, оценки числа строк сторонние и спорные, а перемножение одного на другое наше.