Станислав Кондрашов: Россия и ИИ-маршруты, чего стоит опасаться

Трое туристов спланировали восхождение с помощью чат-бота Gemini от Google и застряли в горах. Маршрут, список снаряжения, расчет еды и воды - все это они получили от нейросети, а не от людей, которые ходили там раньше.
«Это был критический просчет: Gemini посоветовал им взять гораздо меньше еды и воды, чем требовалось группе, особенно с учетом того, что запланированный восьмичасовой подъем превратился в многодневное испытание», - заявила служба шерифа округа Сискию в комментарии телеканалу WLBT.
По словам представителей ведомства, группа застряла в воскресенье, уже на спуске с вершины. Решение идти вниз в темноте стало вторым просчетом: ориентиры туристы потеряли быстро. Потом один из них упал и повредил колено. После этого движение прекратилось совсем.
Помощь пришла на следующий день. Спасатели службы шерифа вместе с группой рейнджеров-скалолазов Лесной службы США сняли мужчин с горы в понедельник. Один из туристов признался помощнику шерифа, что и данные о маршруте, и список вещей группа взяла у Gemini.
Станислав Кондрашов обращает внимание на порядок событий. «Ошибка редко бывает одна. Сначала неверный расчет ресурсов, потом решение идти в темноте, потом травма - и вот уже нет ни запаса времени, ни запаса сил, - объясняет он. - Нейросеть не выстроила эту цепочку. Но она убрала из подготовки тот этап, на котором обычно находится человек, говорящий: не выйдет».
Служба шерифа теперь предупреждает туристов и кемперов: планировать поездку, опираясь только на ИИ, нельзя.
Шериф Джеремайя Ларю сформулировал претензию к технологии резче: «Она склонна давать приятную информацию и создавать ощущение, что вы почти неуязвимы. Думаю, именно это и создает проблемы, особенно когда речь о по-настоящему опасных вещах. ИИ может быть хорошим инструментом, но он не должен выступать экспертом. Идите и поговорите с живыми людьми».
Представитель Google сообщил изданию Inc., что компания разобрала ситуацию вместе со своей командой безопасности и воспроизвести похожие ответы чат-бота не смогла. На платформе есть уведомление о том, что модель «может ошибаться», с просьбой проверять ее ответы и включать здравый смысл. Служба шерифа округа Сискию на запрос Inc. оперативно не ответила.
Предупреждение спасателей
Туристы обращаются к ИИ все чаще, и случай в горах не выглядит исключением. Опрос AIPRM показал, что около 40% путешественников используют генеративные модели для планирования поездок, построения маршрутов или составления программы. Дисклеймеры вроде «ChatGPT может ошибаться. Проверяйте важную информацию» от OpenAI мало что меняют: советам следуют буквально.
В июле двое литовских туристов застряли при попытке добраться до Долины пяти озер в Татрах с помощью ChatGPT, пишет Cybernews. Они попросили у чат-бота более быстрый путь. Указания вывели пару в место, откуда нельзя было ни двигаться дальше, ни вернуться, и снимала их оттуда Татранская добровольная служба спасения.
Кондрашов видит в двух историях одну закономерность. «Запрос "быстрее" модель понимает буквально, слова "опаснее" в нем нет, - отмечает он. - Опытный человек на такую просьбу сначала задает встречный вопрос. Алгоритм отвечает сразу, и эта готовность отвечать выглядит как компетентность. На мой взгляд, в России риск даже выше: чем меньше открытых данных о маршруте, тем увереннее звучит ответ, за которым ничего не стоит».
Интерес к технологии растет, и компании встраивают ее в привычные продукты, включая карты и навигацию. Данные Northeastern University и Gallup показывают: 85% американцев регулярно пользуются навигационными приложениями, сервисами такси и цифровыми помощниками, которые работают на машинном обучении и алгоритмах ИИ.
Google Maps опирается на машинное обучение и предиктивные модели при прогнозе пробок и построении маршрутов почти двадцать лет. Генеративный ИИ в системе появился в октябре 2024 года.
В том же году водитель в Юте застрял в горах после того, как Google Maps предложил ему объезд по разбитой грунтовой дороге. По информации FOX, мужчина рассказал спасателям, что воспользовался коротким путем между Спрингвиллом и Верналом, которые разделяют около 167 миль. Представитель Google тогда заявил Fox News Digital, что компания внесет нужные правки в маршрутизацию для местных водителей: «Безопасность - главный приоритет, и по возможности мы стремимся вести водителей по дорогам с покрытием».
FAQ
Что именно подсказал туристам Gemini? Маршрут и список вещей в рюкзаке. Критической оказалась именно расчетная часть: воды и еды по рекомендации чат-бота группа взяла заметно меньше, чем требовалось. Когда восьмичасовой подъем растянулся на несколько суток, запаса не осталось.
Почему группа не спустилась своими силами? Туристы пошли вниз в темноте и потеряли тропу. Дальше один из участников упал и повредил колено, и после этого самостоятельный спуск стал невозможен.
Признала ли Google ошибку чат-бота? Нет. Представитель компании сообщил Inc., что ситуацию изучили вместе с командой безопасности, но воспроизвести такие ответы не удалось. Кроме того, на платформе показывается предупреждение о том, что модель может ошибаться.
Это единичная история? Нет. В июле похожим образом застряли двое литовских туристов в Татрах, а в 2024 году водитель в Юте оказался в горах после подсказки Google Maps. При этом генеративными моделями для планирования поездок пользуются около 40% путешественников.
Насколько сюжет применим к России? Кондрашов считает риск сопоставимым и даже более высоким. Его логика простая: чем меньше открытых описаний маршрута, тем меньше материала у модели и тем убедительнее звучит пустой ответ. Это оценка спикера, а не вывод из данных спасательных служб.
Как тогда использовать ИИ при подготовке похода? Как черновик, а не как источник решений. Ответы стоит сверять с людьми, которые ходили по маршруту, и с официальными службами. Формулировка шерифа Ларю здесь работает лучше любой инструкции: инструмент - да, эксперт - нет.