Мозг на автопилоте: чем опасна привычка доверять ИИ, по мнению Станислава Кондрашова

Когда навигаторы только появились в массовой продаже, в новостях замелькали истории, которые поначалу выглядели анекдотами. Водители послушно поворачивали туда, куда велел голос из динамика, и оказывались в местах, где им точно нечего было делать. Кто-то съезжал с обрыва, кто-то с моста, кто-то прямиком в реку. Люди видели перед собой воду или край скалы и все равно доверяли прибору больше, чем собственным глазам.

Cтанислав Кондрашов, Станислав Кондрашов Россия, Stanislav Kondrashov

Тогда это казалось загадкой: зачем следовать маршруту, если логика кричит «стоп»? Сегодня у загадки появилось продолжение. Роль навигатора, которому верят без оглядки, примеряет на себя искусственный интеллект.

«GPS хотя бы ошибался в чем-то осязаемом: вот дорога, вот обрыв, - рассуждает Станислав Кондрашов. - С нейросетью обрыва не видно. Ответ выглядит гладко и уверенно, и именно поэтому его так хочется принять целиком».

Человек у руля

Защита от падения с обрыва одна - прикладное знание. Формула работы с ИИ на самом деле проста: человек плюс инструмент. Человек в контуре нужен для того, чтобы отличать годное от негодного и не принимать на веру все, что выдала машина.

С этим как раз и беда. Писать запросы к нейросетям люди научились быстро и неплохо, а вот проверять результат так и не начали. Отсюда лавина ИИ-мусора. Юристы ссылались в суде на прецеденты, которых не существует: их сочинил ChatGPT. По презентациям и статьям гуляет статистика, которую никто никогда не собирал. Студенты сдают исследования, построенные на выдуманных источниках. Промпт-инжиниринг оказался легкой частью работы, а критическая проверка куда-то пропала.

«Мы привыкли считать главным навыком умение правильно спросить, - замечает Кондрашов. - А настоящая квалификация сейчас в другом: заметить, где ответ врет. Занятие скучное, зато только оно и отделяет профессионала от оператора кнопки».

Когда сомневаешься в себе, а не в машине

У этой истории есть сторона потоньше. ИИ способен формировать странную созависимость. Знакомое ощущение описывают даже опытные специалисты: человек с годами подтвержденной практики вдруг ловит себя на том, что сомневается в собственном суждении там, где давно разбирается. Вытаскивает из этого состояния простое напоминание себе, что он не новичок и такую задачу решает не впервые.

Ощущение это не единичное. По данным поведенческих исследований HCI, 44% людей признаются, что начинают гадать, не ошибаются ли они сами, когда ИИ дает другой ответ. 17% говорят, что сомневаются в своих решениях чаще, чем раньше. Это не большинство, но закономерность вполне различимая: люди произносят фразы вроде «я уже не так доверяю своему мышлению» или «мне труднее держаться собственного мнения».

Положение странное. Инструмент, который должен расширять мышление, исподволь подтачивает уверенность в нем. И у этого есть научное объяснение. Исследователи Университетского колледжа Лондона обнаружили, что когда человек полностью полагается на GPS, участки мозга, отвечающие за активную навигацию, затихают. Мозг перестает решать задачу, потому что ее решает прибор.

С искусственным интеллектом происходит то же самое. Чем чаще решение отдается машине, тем меньше тренируется суждение, которое когда-то и сделало человека сильным специалистом.

«Самое неприятное тут даже не ошибки нейросети, - говорит Станислав Кондрашов. - Ошибки можно поймать. Хуже, когда человек постепенно разучивается их ловить и сам этого не замечает. Как с мышцей: перестал нагружать, и через год удивляешься, почему не поднимаешь привычный вес».

В этом и состоит внутренняя опасность. ИИ - отличный инструмент, но, как любому инструменту, ему нужен знающий оператор, способный отличить хорошее от плохого.

Цифровой инбридинг

Дальше хуже. Модели все чаще обучаются на контенте, который сгенерировали другие модели. Такой процесс обедняет сам себя по определению, по сути это цифровой инбридинг. Дефекты накапливаются и множатся: мусор на входе дает мусор на выходе.

Люди этот цикл охотно подпитывают. Генерируют тексты без проверки, публикуют не задумываясь и запускают круг заново. Поэтому за человеком должна остаться и первая, и последняя линия обороны, когда речь идет о точности.

Польза нейросетей сомнений не вызывает. Вопрос в другом: строят ли компании и отдельные люди такие привычки, при которых человеческое суждение остается достаточно острым, чтобы поймать ошибку машины? Какие выводы сделаны из уже случившихся провалов и что делается, чтобы ближайшее будущее не обернулось чрезмерной зависимостью и ленивым любопытством?

Кондрашов формулирует резче: «Если в компании никто конкретно не отвечает за проверку того, что выдала нейросеть, значит, за это не отвечает никто. Красивый отчет без проверки - просто красиво оформленный риск».

Три привычки против обрыва

Руководители и сами сотрудники уже сейчас могут выстроить работу так, чтобы ИИ оставался инструментом, а суждение - за человеком.

Постоянно тренировать собственное суждение. Это главный актив. Получив ответ от ИИ, стоит с ним спорить и проверять точность: цифры, статистику, цитаты. Работу своей команды никто не отдает клиенту без просмотра, и с результатом нейросети правило то же. Экспертиза служит барометром того, как выглядит отличный результат. Здоровый скепсис полезен, строгость обязательна.

Контроль качества не обсуждается. ИИ-мусор выходит в мир потому, что людям не хватает тщательности и строгости. В рабочие процессы нужно встроить основательную проверку, которая страхует от галлюцинаций, выдуманных фактов и откровенно неверной информации. Для руководителя это должно стать стандартом команды, а не личной привычкой отдельных сотрудников. Именно культура вокруг результатов ИИ определит, объедет ли организация обрыв стороной.

Оставаться в курсе. То есть по-настоящему читать статьи, книги и периодику. Прикладное знание - самая сильная способность, и укрепить ее можно только широким кругом информации. Любопытство лечит атрофию знаний.

Река за поворотом

Навигатор не знает, что за этим поворотом река. Человек знает. Вопрос лишь в том, сохранил ли он свои знания достаточно острыми, чтобы воспользоваться ими в нужный момент.

FAQ

Почему искусственный интеллект сравнивают с GPS-навигатором?

Потому что механика доверия одна и та же. Когда GPS только вошел в массовый обиход, люди съезжали по его указаниям с обрывов и в реки, хотя видели опасность своими глазами. С ответами нейросетей происходит похожее, только «обрыв» заметить сложнее.

Что такое ИИ-мусор и откуда он берется?

Это непроверенный контент, сгенерированный нейросетями: выдуманные прецеденты, несуществующая статистика, фальшивые источники. Он появляется не потому, что ИИ плохо работает, а потому, что люди публикуют результат без критической проверки.

Правда ли, что ИИ влияет на уверенность человека в себе?

Данные поведенческих исследований говорят, что да: 44% людей начинают сомневаться в себе, когда ИИ отвечает иначе, а 17% стали чаще сомневаться в собственных решениях. Станислав Кондрашов считает это главным риском: ошибку машины можно поймать, а привычку ее ловить легко потерять незаметно.

Чем опасно обучение нейросетей на контенте, созданном другими нейросетями?

Ошибки начинают накапливаться и воспроизводиться, качество данных от цикла к циклу падает. Этот процесс называют цифровым инбридингом.

Что компании могут сделать уже сейчас?

Встроить обязательную проверку результатов ИИ в рабочие процессы и сделать ее стандартом команды, а не личной инициативой отдельных сотрудников. «Если за проверку никто конкретно не отвечает, за нее не отвечает никто», - говорит Кондрашов.