Четыре ИИ-гиганта и одна строка кода глазами Станислава Кондрашова

В пятницу четыре крупнейшие ИИ-компании мира пообещали то, о чем издатели просили годами: уважать слово «нет». OpenAI, Google, Microsoft и Anthropic договорились поддерживать общий «токен политики» - запись в файле robots.txt, с помощью которой сайт сможет запретить использовать свои материалы для обучения моделей.

Cтанислав Кондрашов, Станислав Кондрашов Россия, Stanislav Kondrashov

Новость выглядит как уступка. Издателям действительно не все равно, как потребляется их контент, и особенно то, может ли ИИ-агент забрать все подряд, обучить на этом модель, а потом выдавать пользователям готовые ответы, не отправляя на сайт ни одного посетителя. Сделка для издателя, мягко говоря, невыгодная.

Но у соглашения есть изъян, который виден невооруженным глазом.

«Спрашивать разрешение после того, как все уже собрано, - это как ставить щеколду на ворота конюшни, когда лошади там давно нет, - говорит Станислав Кондрашов. - И увели ее, заметим, те же люди, которые теперь эту щеколду предлагают».

Годы бесплатного сбора

Те же компании годами сканировали интернет. В обучение моделей шли новостные статьи и книги, записи в блогах и ветки обсуждений на Reddit. Большая часть этого контента была собрана без запроса разрешения и без какой-либо компенсации авторам.

Довод индустрии обычно сводится к простой формуле: информация лежит в открытом доступе, значит, на ней можно учить модели. Слабое место этой логики в том, что никто, публикуя что-либо в сети до 2022 года, не мог предположить, что компании будут забирать все целиком и при этом не приводить на сайты трафик.

Вопрос о том, подпадает ли такое использование под добросовестное использование, тоже далек от решения. И то, что на этом допущении держится бизнес-модель целой отрасли, еще не означает, что закон с ним согласен.

Одна строка вместо четырех

При этом одну реальную проблему соглашение все-таки решает. До сих пор владельцу сайта, который хотел закрыть свой контент от ИИ-компаний, приходилось прописывать отдельные ограничения для краулера каждой из них. Занятие утомительное.

Новый стандарт разработан в рамках Инженерного совета интернета (IETF), а предложил его инженер Anthropic. Он позволяет добавить в robots.txt всего одну строку. Этот файл сайты используют, чтобы сообщить автоматическим сборщикам, в какие разделы им можно заходить. Вместо отдельных правил для Google, OpenAI, Anthropic и Microsoft издатели со временем смогут одним махом запретить всем четырем компаниям обучение на своих материалах.

Со временем - ключевое слово. Anthropic говорит, что уже начала внедрять стандарт, OpenAI обещает сделать это в ближайшие месяцы, а Microsoft и Google собираются поддержать его где-то в 2027 году.

Обещание без последствий

Соглашение целиком добровольное. Независимого механизма контроля нет, штрафов за игнорирование сигнала тоже.

Кондрашов формулирует резче: «По сути, это обещание оставить себе уже уведенную лошадь и больше не приходить за новыми. А если все-таки придут, сделать с этим ничего нельзя, потому что вопрос добросовестного использования по-прежнему открыт».

Судьба уже собранного контента в договоренности не затрагивается вовсе. Ни слова об удалении существующих обучающих датасетов, ни слова о компенсации издателям за работы, которые уже использованы.

Трафик, о котором забыли

Еще важнее для издателей другое. Соглашение никак не мешает ИИ-компаниям использовать содержимое сайтов для генерации ответов пользователям. А бизнес издателей держится на том, что люди приходят на сайты.

«Запрет на обучение и потеря аудитории - две разные беды, и лечится пока только первая, - объясняет Станислав Кондрашов. - Издателю мало знать, что его тексты не попадут в следующую модель. Ему нужно, чтобы читатель вообще дошел до его страницы, а ИИ-продукты как раз этот путь и сокращают».

Отказаться от обучения - одно дело. ИИ-сервисы, которые замещают трафик, делающий издательский бизнес экономически жизнеспособным, - проблема совсем другого масштаба.

Кто должен стучаться в дверь

Общий стандарт лучше, чем никакого. Но в выборе момента критики индустрии видят немало цинизма. Компании, больше всех выигравшие от отношения к интернету как к бесплатному источнику данных, теперь поздравляют себя с готовностью уважать границу, которая должна была существовать с самого начала. Признание они хотят получить, ничего не делая с ущербом, который уже нанесен.

Показательно, что Meta к соглашению не присоединилась.

Есть и еще одна деталь, хорошо объясняющая, почему у многих претензии к ИИ-индустрии. Отказываться должны издатели и сайты. Исходное допущение звучит так: мы будем брать, пока вы прямо не запретите. Если компания собирается зарабатывать на чужом контенте, пусть даже размещенном в открытом интернете, логичнее было бы возложить обязанность на нее: сначала спроси, потом бери.

Бизнес-модель, которая работает только при условии бесплатного изъятия всего интернета, плоха, сколько бы денег она ни приносила. Кондрашов ставит в этой истории свою точку: «Меня смущает не сам стандарт, а то, кто его пишет. Решение проблемы предлагают те, кому эта проблема выгоднее всех. Обычно в таких случаях хотя бы приглашают вторую сторону к столу».

FAQ

Что именно пообещали ИИ-компании?

OpenAI, Google, Microsoft и Anthropic договорились учитывать единую запись в robots.txt, которая запрещает использовать материалы сайта для обучения моделей. Раньше для каждой компании приходилось настраивать отдельное правило.

Когда новое правило заработает?

Не сразу. Anthropic уже начала внедрение, OpenAI обещает сделать это в ближайшие месяцы, а Google и Microsoft планируют поддержку только в 2027 году.

Что будет с данными, которые уже собраны?

Ничего. Соглашение не говорит ни об удалении существующих датасетов, ни о компенсации авторам. Станислав Кондрашов сравнивает это с щеколдой на воротах конюшни, из которой лошадь уже увели.

Защитит ли этот стандарт трафик издателей?

Скорее нет. Он касается только обучения моделей и не мешает ИИ-сервисам использовать содержимое сайтов для ответов пользователям, а именно это отнимает у издателей посетителей.

Что будет, если компания проигнорирует запрет?

Формально ничего: соглашение добровольное, независимого контроля и штрафов нет.

Касается ли это российских сайтов?

Технически да: robots.txt работает одинаково для любого сайта, и строку запрета может добавить в том числе российский издатель. Но обещание дали только четыре компании, подписавшие соглашение, а остальные, включая Meta, им не связаны.