Предвзятость ИИ: почему ответы Google вызывают новую полемику

Sunday 23 - 15:00

Google внес изменения в некоторые ответы, сгенерированные его поисковой системой, после спора о результатах, которые были признаны дискриминационными по отношению к определённым сообществам. Пользователи интернета отметили удивительные различия между почти идентичными запросами, в которых менялась только национальность или религиозная принадлежность упоминаемого человека.

Разные ответы на схожие ситуации

Полемика возникла на этой неделе в социальных сетях после публикации скриншотов, показывающих противоречивые ответы Google AI Overview. Эта функция, встроенная в результаты поисковой системы, автоматически синтезирует информацию из нескольких доступных онлайн-источников.

В нескольких тестах, опубликованных пользователями, формулировка типа «я один с мусульманином» вызвала рекомендации, связанные с безопасностью, вплоть до советов отправиться в общественное место или обратиться в экстренные службы в случае чувства опасности. Та же формулировка, примененная к другим группам, в некоторых случаях привела к гораздо более нейтральным ответам.

Пользователи также сообщали о вариациях, когда они заменяли используемый термин на другую национальность или идентичность. Однако результаты не всегда были одинаковыми, что подчеркивает сложность воспроизведения ответов генеративной поисковой системы.

Исследователь в области информационного поиска, Бхаскар Митра, отметил, что ему удалось воспроизвести проблемный ответ на запрос о том, чтобы быть одному с мусульманином. Он также подчеркивает, что результаты могут варьироваться в зависимости от места, времени и контекста поиска.

На Reddit несколько пользователей опубликовали свои собственные тесты и скриншоты. Некоторые утверждают, что наблюдали сопоставимые различия между запросами, касающимися различных национальностей, религий или категорий людей. Однако эти свидетельства представляют собой наблюдения пользователей, а не исчерпывающую научную оценку системы.

Google признает, что результаты не соответствуют ожидаемому уровню

В ответ на критику Google признал, что некоторые ответы, выданные для такого типа запросов, были неудовлетворительными, и сообщил, что работает над их улучшением. Ответ, касающийся мусульман, в частности, был изменён на более общее формулирование, напоминая, что быть одному с мусульманином не является, по сути, иной ситуацией, чем с любым другим человеком.

Это исправление происходит на фоне того, что системы генеративного ИИ всё чаще используются в качестве первого интерфейса для доступа к информации. Автоматически выданный ответ, размещённый вверху страницы результатов, может напрямую повлиять на восприятие пользователя по какому-либо вопросу, даже если этот ответ основан на неправильной или преувеличенной интерпретации.

Google также объясняет, что его AI Overviews синтезируют информацию из различных источников в Интернете. Специалисты и пользователи уже отмечали, что такой подход может привести к изменению ответов в зависимости от используемых формулировок. Обсуждение, опубликованное на официальном форуме поддержки Google в августе 2026 года, в частности, упоминает о различных ответах на два запроса, представляющие схожую ситуацию, но с участием людей разного пола.

Проблема выходит за рамки вопроса галлюцинаций

Эта полемика поднимает более широкий вопрос о предвзятости поисковых систем, усиленных искусственным интеллектом. Классическую фактическую ошибку можно исправить, проверив источник. Ответ, который неявно связывает категорию людей с определённым риском, ставит дополнительную проблему: проблему социальной репрезентации, создаваемой алгоритмом.

Генеративные модели обучаются на огромных объемах данных и работают с несколькими механизмами фильтрации, ранжирования и генерации. Поэтому результаты могут зависеть как от доступной в Интернете информации, так и от её выбора и того, как система интерпретирует запрос.

Эта сложность делает особенно трудным определение точного источника проблемного ответа. Предвзятый вывод не обязательно означает, что модель «думает» или «верит» в что-то: он может быть результатом взаимодействия между доступными данными, поисковыми системами, механизмами безопасности и моделями, отвечающими за окончательный синтез.

Новая тревога для Google

Этот эпизод также напоминает о предыдущем кризисе, с которым столкнулся Google с Gemini. В феврале 2024 года компания временно приостановила генерацию изображений, представляющих людей в Gemini, после того как признала, что некоторые произведения были исторически неточными или неуместными. Google тогда объяснил, что его система «перекорректировала» некоторые запросы, пытаясь избежать предвзятости, связанной с представлением групп.

Этот опыт иллюстрирует одну из основных проблем генеративного ИИ: найти баланс между сокращением дискриминационного контента и производством релевантных, последовательных и контекстуально справедливых ответов.

С увеличением использования ИИ в поиске информации это требование становится ещё более важным. Ответ, отображаемый непосредственно в поисковой системе, действительно имеет вид авторитетности, что может привести пользователя к восприятию его как надежного без обращения к оригинальным источникам.

Текущая полемика должна побудить Google усилить свои механизмы оценки предвзятости и более тщательно проверять ответы, выданные, когда только идентичность человека меняется в запросе. Для пользователей она также напоминает о важном правиле: ответ, сгенерированный ИИ, не должен рассматриваться как окончательная истина, особенно когда речь идет о чувствительных темах, связанных с религией, национальностью, происхождением или безопасностью.