Нейросеть и список литературы: как поймать выдуманные источники

Короткий ответ: нейросеть не ищет источники в каталоге, она их сочиняет. Реальная фамилия, похожее на настоящее название журнала, правдоподобный год и круглые номера страниц — и ничего этого не существует. Поэтому список литературы у неё не заказывают, а показывают ей собранный самостоятельно: проверить единообразие и оформить. Проверка одного источника занимает три минуты, и она обязательна для каждого.

Почему нейросеть выдумывает источники и делает это правдоподобно

Модель предсказывает правдоподобное продолжение текста. У библиографического описания форма настолько узнаваемая, что собрать похожее ей проще всего на свете: берётся фамилия, часто встречающаяся в этой области, подставляется название журнала, который в этой области существует, год ставится подходящий, страницы округляются до красивого диапазона. Получается запись, которая выглядит убедительнее половины настоящих.

Доля выдумки растёт в двух случаях. Первый — узкая тема, по которой в обучающих данных мало текстов: чем меньше модель знает, тем охотнее достраивает. Второй — большое число позиций в запросе: попросили двадцать источников, реальных нашлось шесть, остальные четырнадцать будут сочинены, потому что задача сформулирована как «дай двадцать».

Веб-поиск помогает частично. Ссылки становятся рабочими, но появляется вторая ошибка: источник существует, а утверждение, которое на него сослались, в нём не написано. Модель связала два реальных объекта неверно, и на глаз это не видно.

Восемь признаков выдуманного источника в списке литературы

Самый неприятный случай — предпоследняя строка. Источник настоящий, а описание в списке неверное: не тот год издания, не то издательство, не тот том. Формально это не выдумка, но на нормоконтроле и на защите вопрос будет тот же самый.

Как проверить источник за три минуты: DOI, точное название, каталог

1. Название в кавычках в поисковик. Кавычки обязательны: без них поисковик подберёт похожее и создаст иллюзию, что источник нашёлся.
2. DOI через адрес doi.org. Рабочий DOI открывает страницу издателя. Не открылся — источника нет, дальше можно не проверять.
3. Фамилия автора в научном поиске. Смотрите список его публикаций: пишет ли он вообще на эту тему.
4. Электронный каталог библиотеки. Для книг и диссертаций — каталог Национальной библиотеки Беларуси, для вузовских работ и статей — репозитории и электронные библиотеки университетов.
5. Открыть сам текст и найти цитируемое место. Последний шаг важнее первых четырёх: он ловит случай, когда источник настоящий, а утверждение из него не следует.

Правило, которое снимает большую часть проблем: не открыли текст своими глазами — источник в список не идёт. Оно кажется жёстким ровно до первой защиты, где научный руководитель проверил одну ссылку из тридцати и попал на выдуманную.

Где искать источники по-настоящему

• Электронный каталог Национальной библиотеки Беларуси — книги, диссертации, авторефераты, периодика.
• Репозитории и электронные библиотеки белорусских вузов — статьи преподавателей, сборники конференций, студенческие работы прошлых лет по вашей кафедре.
• Научные поисковики и агрегаторы — для статей с DOI, англоязычных работ и свежих публикаций по теме.
• Национальный правовой интернет-портал — единственный корректный источник для нормативных актов Беларуси, если тема их касается.
• Перечень научных изданий ВАК Беларуси — когда нужны публикации, которые засчитываются формально.
• Списки литературы в уже найденных работах — самый быстрый способ выйти на ключевые тексты по теме, и все они точно существуют.

Что нейросеть в работе с источниками действительно делает хорошо

1. Подбирает поисковые запросы. Из темы работы вытаскивает термины, синонимы, устоявшиеся обозначения и их английские эквиваленты. Это и есть главная польза: искать вы будете сами, но знать, что вбивать.
2. Рисует карту темы: какие направления существуют, какие вопросы считаются спорными, какие имена в этой области называют классическими. Всё это потом проверяется, но экономит неделю блуждания.
3. Разбирает загруженный текст. Когда PDF статьи у модели перед глазами, выдумывать нечего: тезисы, метод, выводы и ограничения она вытаскивает точно.
4. Сравнивает несколько работ между собой и показывает, в чём авторы расходятся.
5. Приводит ваш список к единому виду и находит в нём расхождения в оформлении.
6. Пишет аннотацию и ключевые слова к вашему собственному тексту.

Разница между полезным и вредным применением проходит по одной линии: есть ли у модели перед глазами исходник. Есть — работает хорошо. Нет — сочиняет.

Промт на оформление списка: только мои источники, ничего не добавлять

Ниже 14 источников, которые я нашёл и проверил сам. Оформи их по образцу, который я привожу первым. Правила: не добавляй новых источников; не меняй фамилии, годы, названия и номера страниц; если для образца не хватает данных, напиши «нет данных: что именно» вместо того, чтобы подставить своё; отсортируй по алфавиту и пронумеруй. Верни таблицей из трёх колонок: номер, оформленная запись, чего не хватает.

После ответа делается сверка: было четырнадцать записей — стало четырнадцать, фамилии совпадают, годы совпадают. Модель периодически «улучшает» описание, дописывая недостающие поля из головы, и колонка «чего не хватает» существует именно для того, чтобы этого не делать.

Оформление по ГОСТ и требованиям кафедры: где нейросеть путает поля

Основа описания — межгосударственный ГОСТ 7.1-2003, который применяется и в Беларуси, для диссертаций добавляются требования ВАК. Но выше всего стоит методичка вашей кафедры: если она расходится с общим стандартом, принимать работу будут по ней, поэтому образец в промт берётся оттуда.

Типовые ошибки модели в оформлении повторяются от списка к списку: путает описание книги и описание статьи из сборника, теряет дату обращения у электронного ресурса, ставит общее число страниц книги там, где нужен диапазон страниц статьи, произвольно решает, сколько авторов выносить перед заглавием, и меняет разделительные знаки. Всё это ловится сверкой двух-трёх записей с образцом: если первые три оформлены верно, остальные обычно тоже.

Чем грозит выдуманный источник в дипломе, отчёте и юридическом документе

В учебной работе цена невысокая, но неприятная: научный руководитель проверяет одну-две ссылки, находит несуществующую и дальше читает всю работу с недоверием. Список литературы проверяется быстрее всего остального текста, поэтому попадаются именно на нём.

В рабочем отчёте последствия хуже. Одна ссылка на исследование, которого нет, обесценивает все остальные цифры в документе: если это выдумано, что ещё выдумано. В юридических и регуляторных документах цена ещё выше — за рубежом суды уже штрафовали юристов, приложивших к иску судебные решения, найденные через чат и не существующие в природе.

Отдельно стоит сказать прямо: работа пишется автором, а не чатом. Список литературы — не техническая формальность в конце, а след того, что человек действительно читал. Нейросеть здесь ускоряет поиск и оформление, но не заменяет чтение, и как только она начинает заменять, работа рассыпается на первом же вопросе по существу.

Где навык проверки источников оплачивается вне учёбы

Умение отличить настоящий источник от правдоподобного давно вышло за пределы дипломов. Оно нужно в аналитике и обзорах рынка, где к выводам прикладываются данные, в подготовке экспертных материалов и выступлений, в юридической и бухгалтерской работе, где ссылка на норму должна открываться, и в редактуре, где приходится проверять чужой текст. Специалист, который умеет пользоваться моделью и при этом ловит её выдумки, стоит дороже того, кто просто быстро генерирует текст.

Работа с большими документами, поиск по ним, разбор PDF и таблиц и проверка фактов разбираются на курсе отдельными уроками — вместе с тем, откуда берутся галлюцинации и как строить запросы, при которых их меньше. Как это складывается в услугу для экспертов, преподавателей и школ, разобрано на странице курса для экспертов и школ, а полный маршрут от базовой работы с моделями до автоматизации — на странице про новую профессию. Обучение рассчитано на 12 месяцев, уроки по 30 минут, их более 150 и становится больше, доступ индивидуальный. Если хотите понять, с чего начать именно вам, начните с бесплатного разбора на 20-30 минут: там расспросят про ваши задачи, покажут, что закрывается уже сегодня, и назовут инструменты и уроки.

Частые вопросы

Может ли нейросеть составить список литературыСама, по памяти - нет: она выдаёт правдоподобные, но несуществующие источники с реальными авторами и выдуманными названиями. Полезна она на другом: подобрать поисковые запросы и термины, разобрать загруженные вами тексты и оформить список, который вы собрали и проверили сами.

Почему нейросеть придумывает несуществующие книги и статьиМодель предсказывает правдоподобное продолжение текста, а не ищет запись в каталоге. Библиографическое описание имеет узнаваемую форму, поэтому она собирает его из типичных элементов: знакомая фамилия, подходящее название журнала, круглые номера страниц и сгенерированный по шаблону DOI.

Как проверить, существует ли источник из спискаСкопируйте точное название в кавычках в поисковик, откройте DOI через адрес doi.org, проверьте фамилию автора в научном поиске и найдите запись в электронном каталоге библиотеки или в репозитории вуза. Если открыть сам текст не удалось, источник в список не идёт.

Помогает ли нейросеть с поиском в интернете найти настоящие источникиЧастично. Ссылки становятся живыми, но остаётся вторая ошибка: утверждение в тексте может не следовать из источника, на который оно сослалось. Проверять нужно не только существование ссылки, но и то, что в ней действительно написано.

Чем грозит выдуманный источник в дипломной работе или отчётеВ учебной работе это возврат на доработку и разговор с научным руководителем: проверка одной ссылки занимает минуту. В рабочем отчёте это потерянное доверие к остальным цифрам, а в юридическом документе - ссылка на норму, которой не существует, со всеми последствиями.