Недавно наша статья об эволюции агентного искусственного интеллекта на
Хабре собрала более 72 000 просмотров и вызвала оживленную дискуссию в комментариях. Разработчики, математики и физики задали десятки острых вопросов о надежности нейросетей, математике накопления ошибок и будущем научных исследований.
Руководитель отдела исследований компании «Думейт» (Domate) и разработчик отечественного агентного приложения
Дуэйд (doaid), кандидат физико-математических наук Андрей Грабовой ответил на главные вызовы индустрии. Публикуем структурированную выжимку этой дискуссии.
Что такое «окружение агента» (harness) и чем агент отличается от чат-бота?С точки зрения архитектуры самой нейросети, внутри чат-бота и ИИ-агента работает одна и та же большая языковая модель (LLM). Разница заключается в программной обвязке вокруг неё — в англоязычной среде её называют
agent harness, а в российской практике чаще используют термины «окружение агента» или «агентное приложение».
Если обычный чат-бот работает по принципу однократного ответа на запрос, то агентное приложение помещает языковую модель в цикл принятия решений:
- Инструменты и доступ к среде. Окружение дает модели возможность запускать код, работать с Git, искать информацию в базах знаний и обращаться к внешним сервисам по протоколу MCP.
- Управление памятью. Система сама решает, какие данные из прошлых шагов и документов подгрузить в текущее контекстное окно.
- Итеративность. Агент действует по шаблону «рассуждение — действие — наблюдение — уточнение», самостоятельно исправляя ошибки до тех пор, пока не достигнет поставленной цели.
Таким образом, агентность — это свойство всей программной системы, а не отдельных весов нейросети.
Насколько надежны ИИ-агенты в длинных задачах, если ошибки накапливаются?Накопление ошибок на длинной дистанции — это фундаментальное математическое ограничение современных языковых моделей. Даже если вероятность безошибочного выполнения одного шага составляет 99%, на цепочке из 200 последовательных действий шанс дойти до финала без единой осечки падает примерно до 13%. При этом нейросеть в силу своей вероятностной природы всегда выдает максимально правдоподобный ответ, даже если допустила ошибку.
В современной инженерии эту проблему решают тремя способами:
- Параллельный запуск (метод независимых попыток). Вместо одного длинного прогона запускаются десятки независимых агентов с одной стартовой точки, а лучший результат отбирается автоматически с помощью формальных проверок.
- Автоматизированная верификация. Агент обязан подтверждать каждый свой шаг детерминированными инструментами — запуском модульных тестов, компилятором или сверкой с первоисточниками.
- Баланс между размером модели и числом шагов. Инженерная практика показывает, что во многих задачах выгоднее использовать быструю и легкую модель, дав ей возможность сделать 10 итераций с проверкой, чем запускать дорогую и медленную флагманскую модель на один шаг.
Как эффективно управлять ИИ-агентами в реальной разработке?Опыт команды «Думейт», которая после сентябрьских блокировок зарубежных сервисов полностью перевела внутреннюю разработку на собственное агентное приложение
Дуэйд (doaid), показывает, что скорость генерации кода перестала быть узким местом. Агент способен за один час выполнить объем рутинной работы, сопоставимый со спринтом команды, и написать тысячи автотестов для проекта.
Однако при такой скорости разработчик физически не может вычитать каждую строчку сгенерированного кода. Наиболее эффективной оказалась управленческая стратегия «допроса»:
- Переход в роль тимлида. Разработчик взаимодействует с агентом так же, как руководитель с сотрудником или научный руководитель со студентом.
- Контрольные вопросы. Вместо сплошного чтения кода специалист задает точечные вопросы по архитектуре и граничным случаям: «Как ты обработал это исключение?» или «Почему выбрал именно этот метод?».
- Диагностика по ответам. Если агент начинает путаться и выдавать «оправдательные» формулировки, это верный признак скрытой ошибки, требующей вмешательства человека.
Как учить студентов и джунов, если рутинный код пишут нейросети?Это один из самых острых кадровых вызовов эпохи ИИ. Опытные руководители умеют задавать агентам правильные проверочные вопросы потому, что сами набили шишки за годы ручного программирования. У нового поколения разработчиков и исследователей такого пути больше нет.
Чтобы начинающие специалисты не превратились в бездумных операторов промптов, система подготовки должна сместить фокус с синтаксиса языков программирования на
системное мышление:
- Умение декомпозировать сложную проблему на проверяемые этапы.
- Понимание архитектуры систем и границ применимости алгоритмов.
- Навык критического аудита и постановки формальных критериев приемки результата.
Сможет ли автономный ИИ-исследователь (AI Researcher) заменить физиков к 2028 году?Крупные мировые лаборатории называют создание полностью автономного ИИ-исследователя одной из главных целей на ближайшие два года. В компании «Думейт» мы также развиваем
Дуэйд (doaid) с прицелом на создание удобного российского инструмента для автоматизации научных исследований (
AI Researcher).
Однако полная автономия возможна далеко не во всех областях науки:
- Где ИИ уже работает. В компьютерных науках, биоинформатике и задачах, где есть точные физические эмуляторы или потоки цифровых данных (например, с ускорителей частиц), агенты уже сегодня способны массово перебирать гипотезы, писать код экспериментов и отсеивать неудачные ветки без участия человека.
- Где человек незаменим. В классической экспериментальной физике, химии и материаловедении главная ценность исследования — это анализ аномалий. Отличить реальное научное открытие от методического брака (например, когда образец в лаборатории перегрели или он набрал влагу из-за открытого окна) нейросеть пока не способна. В теоретической математике и физике строгая верификация доказательств также остается за научным сообществом.
Что мешает массовому внедрению ИИ-агентов в науку и образование?Главный барьер для распространения агентных систем в российской академической среде сегодня лежит не в плоскости технологий, а в плоскости культуры и регулирования. Использование нейросетей в вузах и научных институтах во многом оказалось в «режиме запрета» из-за страха перед недобросовестной генерацией текстов.
Чтобы преодолеть это отторжение, индустрии и академическому сообществу необходимо разделить
подмену авторства и
автоматизацию рутины:
- Написание черновика обзора литературы, оформление метаданных, генерация кода для обработки данных и написание тестов — это техническая рутина, которую можно и нужно делегировать доверенным агентам.
- Постановка научной гипотезы, верификация выводов и персональная ответственность за достоверность результата всегда остаются за человеком.
Хотите протестировать агентный подход в своих задачах?Познакомиться с возможностями отечественной среды для разработки и исследований
Дуэйд (doaid) можно прямо сейчас, все данные для установки есть на
официальной странице проекта, а полную теоретическую версию разбора с формулами и комментариями сообщества читайте в
блоге «Думейт» на Хабре.