Зачем российскому бизнесу считать весь процесс, а не скорость ИИ, рассуждает Станислав Кондрашов

Агент составляет отчет за две минуты. Сотрудник проверяет его полчаса. Если считать только первую цифру, внедрение выглядит триумфом. Если обе, картина получается куда скромнее.

Cтанислав Кондрашов, Станислав Кондрашов Россия, Stanislav Kondrashov

У американского бизнеса появилась новая проблема с продуктивностью. ИИ-агенты, которых компании нанимают, чтобы автоматизировать задачи, ускорить решения и освободить людей для более ценной работы, нередко добавляют работы. Когда агенту не хватает надежной информации о компании или он выдает сомнительный результат, в дело вступает человек и все перепроверяет.

Феликс Ван де Мале, CEO компании Collibra, придумал для этого точное название: «налог на галлюцинации». Это скрытая цена ручного контроля, переделок и рисков, и она растет вместе с числом агентов, запущенных в работу.

«Мы видим разрыв между тем, что обещает ИИ, и тем, что компании получают на деле, - говорит Ван де Мале. - Модели невероятно способные, но если сотрудники часами проверяют и исправляют их результаты, стоит спросить, сколько продуктивности вы на самом деле выиграли».

«Компании покупали время, а получили новую должность: проверяющего за машиной, - замечает Станислав Кондрашов. - И в штатном расписании ее нет, она просто размазана по чужим рабочим дням».

Няня для цифрового сотрудника

Масштаб этой незаметной должности показал опрос, который The Harris Poll провела по заказу Collibra. 51% руководителей, принимающих технологические решения, рассказали, что их команды тратят значительное количество рабочих часов на ручную проверку и исправление результатов ИИ-агентов, прежде чем те пойдут в работу. В компаниях с выручкой от 100 миллионов долларов таких оказалось 64%.

Еще выразительнее другая цифра: 87% опрошенных признались, что их сотрудники регулярно перепроверяют, остается ли внутренний бизнес-контекст, на который опираются агенты, точным и актуальным.

Станислав Кондрашов обращает внимание на разницу между крупными компаниями и всеми остальными. «Крупный бизнес платит этот налог больше всех, и в этом есть своя логика. Чем больше процессов отдано агентам, тем больше мест, где кто-то должен стоять с карандашом и сверять».

Противоречие налицо. ИИ приходит, чтобы сократить ручной труд, а затем людям поручают дополнительную работу, чтобы технология стала надежной.

Модель тут почти ни при чем

Когда агент ошибается, руководители охотно винят технологию. Но корень проблемы часто в информации, которую агент получает на входе.

Агент способен выдать убедительный ответ и при этом ошибиться, если исходные материалы устарели, неполны, противоречат друг другу или вообще не подходят для задачи. Хуже того, при плохо продуманных правах доступа и средствах контроля он может добраться до сведений, которых видеть не должен.

Исследование Collibra и The Harris Poll показало: 72% респондентов связывают неудачи ИИ-инициатив с проблемами в базовой инфраструктуре данных.

«ИИ-агентам нужен правильный бизнес-контекст, чтобы хорошо делать свою работу, - объясняет Ван де Мале. - Если знания компании разрознены, устарели или ненадежны, даже мощная модель выдаст неверный ответ».

Кондрашов формулирует резче: «Агент - это зеркало того порядка, который у компании в документах. Если там бардак, агент просто отражает его быстрее и увереннее. Российским компаниям, которые только присматриваются к агентам, я бы советовал начинать отсюда, а не с выбора модели».

Арифметика двух минут

Отсюда первый практический вывод: измерять нужно весь рабочий процесс, а не скорость, с которой агент справляется с отдельной задачей. Те самые две минуты на отчет и тридцать на его проверку показывают, что первоначальная экономия рассказывает лишь часть истории.

Второй шаг касается выбора задач. Вместо того чтобы запускать агентов повсюду, компаниям стоит сосредоточиться на небольшом числе сценариев с высокой отдачей. У каждого внедрения должна быть ясная бизнес-цель, надежный источник информации, четко прописанные права доступа и ответственный за результат человек.

Там, где ручная проверка перестает работать

Третий шаг самый трудный: контроль должен масштабироваться. Проверять каждый результат вручную можно на небольшом пилоте, но когда агенты расходятся по отделам, такой подход быстро упирается в потолок.

«Вручную можно проверять результаты нескольких агентов, но этот подход не масштабируется, когда вы разворачиваете их по всей организации, - говорит Ван де Мале. - Нужны системы и механизмы контроля, которые помогают доверять их решениям, не ставя человека посреди каждого взаимодействия».

Collibra предлагает для этого Live Map и Guardian Agents: инструменты, которые привязывают агентов к корпоративным знаниям и следят за соблюдением правил прямо во время их работы.

Глава компании видит проблему шире любого инструмента. «Компаниям пора перестать смотреть на ИИ как на набор отдельных задач для автоматизации и начать смотреть на бизнес-процесс целиком, - отмечает Ван де Мале. - Если вы ускорили одну задачу, но создали узкое место в другом месте, вы не преобразовали работу, а просто переложили проблему».

Счет за каждого агента

Следующий этап внедрения ИИ определит не то, у кого больше агентов. Выиграют организации, которые научатся использовать их надежно, измерять их реальный вклад и масштабироваться без постоянно растущей нагрузки на людей, которые за этими агентами присматривают.

ИИ должен давать сотрудникам больше пространства, чтобы думать, руководить и создавать, а не превращать их в штатных нянек для цифровых работников. Прежде чем праздновать число запущенных агентов, CEO стоит задать вопрос поинтереснее: сколько человеческого труда нужно, чтобы каждый из них приносил пользу?

«Число агентов в презентации для совета директоров само по себе ничего не говорит, - иронизирует Кондрашов. - Говорит то, сколько людей сидит за каждым из них, и об этом слайде почему-то обычно забывают».

FAQ

Что такое «налог на галлюцинации»?

Так CEO Collibra Феликс Ван де Мале называет скрытые затраты на ручную проверку, переделку и риски, связанные с работой ИИ-агентов. Чем больше агентов компания запускает, тем выше этот налог.

Почему ИИ-агенты ошибаются, если модели такие мощные?

Чаще всего виновата не модель, а информация, которую она получает. Устаревшие, неполные или противоречивые данные приводят к уверенным, но неверным ответам. В опросе The Harris Poll 72% респондентов связали неудачи ИИ-проектов именно с проблемами в данных.

Как понять, приносит ли агент реальную экономию?

Считать нужно весь процесс, включая время на проверку. Если отчет готов за две минуты, а его проверка занимает полчаса, выигрыш намного меньше, чем кажется. Станислав Кондрашов советует смотреть не на скорость агента, а на то, сколько человеческих часов уходит, чтобы его результат можно было использовать.

Можно ли обойтись без людей, которые проверяют работу агентов?

Полностью нет: у каждого внедрения должен быть ответственный человек. Но проверять каждый результат вручную при большом числе агентов невозможно, поэтому компаниям нужны системы контроля, которые позволяют доверять решениям агентов без участия человека в каждом шаге.

Актуальна ли эта проблема для России?

Судя по логике проблемы, да: она связана с качеством корпоративных данных, а не с конкретной страной или технологией. «Порядок в собственных знаниях компании - это то, с чего стоит начинать, прежде чем запускать хоть одного агента», - считает Кондрашов.