dumaiПрепринт — материал ещё не прошёл рецензирование
ИИ помог одному человеку изготовить работающий процессор за пять недель
Кратко
Авторы описывают подход Salt: программы на базе ИИ создают код, описания устройства и математические доказательства, а специальная программа проверяет их шаг за шагом. В одном проекте исследователь за пять недель довёл такую цепочку до работающего процессора, не написав низкоуровневый код вручную; ошибки исправляли по ходу работы, а в опубликованный журнал не попало ни одного ошибочного доказательства.
Зачем это знать
Этот опыт показывает, как один человек может направлять сложную разработку, когда машина проверяет каждый шаг. Но по одному демонстрационному проекту нельзя делать общий вывод: человек всё равно задавал цель и исправлял ошибки.
Разбор
Главная новизна подхода Salt — не просто в том, что ИИ пишет код, а в том, что каждый раунд работы оставляет проверяемый след. На выходе агент должен подготовить сразу несколько вещей: реализацию, точное описание её поведения, доказательство соответствия, тесты и упрощённое свидетельство о том, что именно было доказано. Специальное ядро проверяет математические доказательства, поэтому правдоподобная, но ошибочная выдумка не может пройти дальше как доказательство.
Авторы разделяют две задачи, которые часто смешивают. Нужно проверить, правильно ли сделана система, но также — правильно ли сформулировали, что считать правильным. Поэтому человек не проверяет каждую строку и каждое доказательство вручную, а читает формулировки, задаёт вопросы и заранее фиксирует требования: что входит в задачу, что намеренно исключено и по каким критериям считать результат успешным. ИИ в ответ на такие вопросы должен предъявлять проверяемые свидетельства, а не только уверенные объяснения.
До этого машинная проверка считалась слишком дорогой для обычной разработки и применялась главным образом к особенно важным или небольшим объектам. Здесь авторы предлагают перевернуть логику: если большую часть работы выполняют быстрые ИИ-агенты, проверка становится не тормозом, а способом безопасно ими управлять. В опубликованном журнале проекта они отдельно проследили происхождение теорем, учли затраты токенов и времени человека и собрали список обнаруженных ошибок — так, чтобы результат можно было проверять не по рассказу авторов, а по цепочке артефактов.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая рецензирование, поэтому независимая проверка ещё впереди. Кроме того, показан один демонстрационный проект с одним исследователем; убедительно продемонстрирована сама цепочка контроля, но по этим данным нельзя понять, так же ли она будет работать для других команд и задач.
Пересказано ИИ по научной статье. Как это устроено