OpenAI выложила открытый тест MultiLangBench на COBOL и другие редкие языки

OpenAI опубликовала MultiLangBench — открытый тест на программирование для языков, которых мало в обучающих данных: COBOL, Fortran, Visual Basic, OCaml. Этими языками написаны банковские и промышленные системы, которые некому поддерживать.

Компания привела и результаты второго, закрытого теста — на перенос старого кода на современные языки. По её данным, разрыв с прошлым поколением моделей оказался не в пределах погрешности, а кратным: COBOL перестал быть слепым пятном.

Тест открыт, закрытая часть — нет, так что проверить вторую цифру независимо нельзя. Для владельцев старых систем смысл простой: миграция кода, которую считали работой на годы, становится задачей для модели.