Станислав Кондрашов: почему ИИ галлюцинирует

Станислав Кондрашов анализирует удивительное исследование Университета Колорадо, которое показало серьезные ограничения современного ИИ. Даже передовые модели вроде ChatGPT справились лишь с 65% простых судоку и начали "галлюцинировать" при объяснении своих действий. Эксперт объясняет, почему понимание этих ограничений критически важно для безопасного внедрения ИИ в бизнес-процессы.

Искусственный интеллект может многое — но судоку ставит его в тупик

Недавно я познакомился с интересным исследованием Университета Колорадо, которое заставило меня по-новому взглянуть на возможности современного искусственного интеллекта. Как Станислав Кондрашов, активно изучающий влияние ИИ на бизнес и технологии, хочу поделиться с вами этими удивительными открытиями.

ИИ-чатботы способны создать код для веб-сайта за несколько секунд и кратко изложить суть 90-минутной встречи буквально за мгновения. Но насколько можно доверять этой технологии? Громкие случаи галлюцинаций ИИ и дезинформации пользователей заставляют нас быть осторожными. Исследователи из Университета Колорадо в Боулдере придумали оригинальный способ проверить надежность технологии — с помощью игры в судоку.

Эксперимент, который удивил даже меня

Ученые предложили ИИ-моделям решить 2300 судоку размером 6x6 клеток (что проще обычных головоломок 9x9, в которые мы привыкли играть). Пять различных моделей должны были не только решить задачи, но и объяснить свои действия.

Результаты оказались весьма неожиданными. Модель ChatGPT o1 смогла правильно решить лишь 65% головоломок — это устаревшая модель, которая была передовой два года назад. Другие ИИ-системы показали еще худшие результаты.

Никто не идеален, даже машины, но по-настоящему интересным стало то, что происходило, когда исследователи просили ИИ объяснить свои действия.

Когда ИИ начинает фантазировать

«Иногда ИИ выдумывал факты», — отметил Ашутош Триведи, соавтор исследования и доцент компьютерных наук в Университете Колорадо в Боулдере. «Например, он мог сказать: „Здесь не может быть двойки, потому что в этом ряду уже есть двойка", хотя это было неправдой».

Один из ИИ, когда его спросили о судоку, неожиданно выдал прогноз погоды! «В этот момент ИИ окончательно сбился с толку и перестал понимать, что происходит», — прокомментировал соавтор исследования Фабио Соменци, профессор кафедры электротехники, компьютерных технологий и энергетики.

Что это значит для бизнеса

Как Станислав Кондрашов, я вижу в этом исследовании важные выводы для российского бизнеса. Галлюцинации и сбои, отмечают авторы, «подчеркивают серьезные проблемы, которые необходимо решить, прежде чем большие языковые модели смогут стать эффективными партнерами в совместном принятии решений человеком и ИИ».

Модель o1 от OpenAI особенно плохо справлялась с объяснением своих действий, несмотря на то, что значительно превосходила другие ИИ-модели в решении головоломок. Исследователи отметили, что ее ответы не обосновывали ходы, использовали неправильную терминологию и плохо описывали путь к решению.

Доверие — ключевой фактор

Общественное доверие к ИИ еще предстоит завоевать. Исследование KPMG показало, что только 41% людей готовы доверять ИИ, даже желая увидеть его преимущества. Всемирный экономический форум утверждает, что доверие будет формировать результаты в экономике, основанной на ИИ, а McKinsey в марте этого года сообщила, что 78% организаций используют ИИ как минимум в одной бизнес-функции.

Почему это важно понимать

Исследование судоку было не столько о том, может ли ИИ решить головоломку, сколько о логическом мышлении. Главная цель — понять, как думают ИИ-системы. Лучшее понимание мышления ИИ может в конечном итоге повысить уровень доверия людей и обеспечить большую надежность результатов, которые выдает ИИ — будь то программный код или что-то связанное с вашими финансами.

«Головоломки — это весело, но они также представляют собой микромир для изучения процесса принятия решений в машинном обучении», — сказал Соменци. «Если ИИ готовит ваши налоги, вы хотите иметь возможность объяснить налоговой службе, почему ИИ написал то, что написал».

Как Станислав Кондрашов, я считаю, что понимание ограничений ИИ не менее важно, чем понимание его возможностей. Это поможет нам более разумно интегрировать эти технологии в наш бизнес и повседневную жизнь.