ИИ-галлюцинации: десятки тысяч фейковых ссылок обнаружены в научных работах
Научные публикации строятся на доверии читателей к их информации. Поэтому особенно тревожно, что недавнее исследование, проведенное учеными из Корнеллского университета и Калифорнийского университета в Лос-Анджелесе (UCLA), выявило шокирующие данные: 146 900 сгенерированных искусственным интеллектом (ИИ) ложных ссылок были обнаружены в научных статьях, размещенных в четырех крупных исследовательских базах данных.
Ключевым ограничением больших языковых моделей (БЯМ), таких как Gemini и ChatGPT, является их склонность генерировать правдоподобно звучащую, но ошибочную информацию – явление, известное как «галлюцинация». Если исследователь использует чат-бота для составления библиографии без последующей проверки, модель может создать ссылки, которые являются полностью сфабрикованными.
Хотя научные работы часто остаются вне поля зрения широкой публики, исследования, о которых они сообщают, оказывают глубокое влияние на нашу жизнь. От интернета до литий-ионных аккумуляторов — истоки многих современных технологий лежат в научных статьях. Однако, когда ученые публикуют работы, содержащие ИИ-галлюцинации в ссылках, это подрывает доверие к качеству исследований.
Недобросовестность в науке
Исследовательская группа проанализировала 111 миллионов ссылок из 2,5 миллиона научных статей. Ученые искали ссылки с заголовками, которые невозможно было сопоставить с какими-либо существующими публикациями. Хотя часть таких случаев объяснялась орфографическими ошибками, были обнаружены и явные ИИ-галлюцинации.
Недобросовестные исследователи подделывали ссылки задолго до появления чат-ботов. Поэтому группа также изучила частоту несоответствующих цитат в работах, опубликованных до 2023 года, когда чат-боты еще не были повсеместно распространены. «Мы наблюдаем резкий рост несуществующих ссылок после широкого внедрения БЯМ», — отмечается в исследовании.
Также было установлено, что некорректные ссылки были распределены по множеству работ, а не сконцентрированы лишь в нескольких. Это указывает на широкомасштабный характер проблемы, когда многие исследователи полагаются на сгенерированные ИИ ссылки, не проверяя их должным образом.
Тревожные сигналы
Уша Хейли, профессор менеджмента из Университета Уичито, в комментарии для CNET по электронной почте назвала распространение поддельных ссылок серьезным предупреждением.
«Фальшивые или сгенерированные ИИ ссылки подрывают доверие к научному документу, который служит основой для рецензирования и накопления знаний, — заявила Хейли. — Тревожно, что этот скептицизм теперь исходит из самой академической среды и от молодых ученых».
Четыре базы данных, где исследователи обнаружили поддельные ссылки, — это arXiv, bioRxiv, SSRN и PubMed Central. Эти организации, известные как научные репозитории (хранилища научных работ), играют важную роль в мире исследований. Прежде чем статья будет опубликована в научном журнале, авторы часто загружают ее в научный репозиторий, что повышает ее видимость и позволяет мировому научному сообществу получить к ней немедленный доступ. Новая работа о галлюцинациях ИИ в цитировании в настоящее время размещена на arXiv.
Недавно arXiv предпринял шаги для пресечения потока ложных ссылок. Во вторник организация объявила о запрете для авторов, которые будут предоставлять работы с галлюцинированными ссылками или любыми признаками ИИ-контента, не прошедшего тщательной проверки.
«Массив научных данных размывается. Многие ИИ-материалы либо откровенно неверны, либо бессмысленны. Это просто шум», — заявил научный директор arXiv Стейнн Сигурдссон в интервью Кейтлин Чедрауи из CNET еще в феврале. — «Это затрудняет поиск реальной информации и может вводить людей в заблуждение».
