Научные публикации и большие языковые модели: поймет ли нейросеть российскую науку?

Влияние технологий искусственного интеллекта, нейросетей, чат-ботов на науку и образование вызвало широкую дискуссию в академическом сообществе. Уже не представляется возможным сдержать использование нейросетей, таких как ChatGPT, для написания текстов, в том числе научных. Настоящее исследование выполнено в рамках качественного подхода. Целью исследования является анализ применения больших языковых моделей на примере ChatGPT в научно-публикационной деятельности российских ученых. Практика применения чат-ботов далеко не всегда приносит удовлетворительный результат как для пользователя, так и для научного сообщества в целом. Пользователь зачастую сталкивается с отсутствием запрашиваемой информации в ответе нейросети, которое является результатом ограничения выборки текстов для ее обучения. Научное сообщество, и особенно редакторы и читатели научных журналов, ставит под сомнение возможность применения нейросетей в связи с недостатками больших языковых моделей, получившими широкое освещение в научных публикациях. Данное исследование показывает, что есть еще одна причина не доверять нейросетям. Неполнота и непрозрачность производимой искусственным интеллектом информации связаны с текстами, на которых обучаются нейросети. Для российской науки данная проблема несет серьезную угрозу, поскольку популярные компании – производители искусственного интеллекта для этой цели используют преимущественно англоязычные тексты. Автор выдвигает мнение о том, что социально-гуманитарное знание, производимое в современной России, остается за пределами текстов, применяемых для обучения нейросетей. Такая точка зрения подтверждается данными исследования, посвященного управлению Российской Арктикой. Информация по данной тематике имеет отражение в русскоязычных публикациях, но отсутствует в ответах англоязычных ChatGPT. 

1. Ивахненко Е.Н., Никольский В.С. ChatGPT в высшем образовании и науке: угроза или ценный ресурс? Высшее образование в России. 2023;32(4):9–22. https://doi.org/10.31992/0869-3617-2023-32-4-9-22

2. Резаев А.В., Трегубова Н.Д. ChatGPT и искусственный интеллект в университетах: какое будущее нам ожидать? Высшее образование в России. 2023;32(6):19–37. https://doi.org/10.31992/0869-3617-2023-32-6-19-37

3. Чапкин Н.С. Применение ChatGPT в образовании и науке. Альманах «Крым». 2023;(37):42–46.

4. Stokel-Walker C. ChatGPT listed as author on research papers: many scientists disapprove. Nature. 2023;613(7945):620–621. https://doi.org/10.1038/d41586-023-00107-z

5. Stokel-Walker C., Noorden R. What ChatGPT and generative AI mean for science. Nature. 2023;614(7947):214–216. https://doi.org/10.1038/d41586-023-00340-6

6. Stokel-Walker C. AI chatbots are coming to search engines – can you trust the results? Nature. February 13, 2023. https://doi.org/10.1038/d41586-023-00423-4

7. Thorp H.H. ChatGPT is fun, but not an author. Science. 2023;379(6630):313. https://doi.org/10.1126/science.adg7879

8. Etzioni O. AI’s progress isn’t the same as creating human intelligence in machines. MIT Technology Review. June 28, 2022. Available at: https://www.technologyreview.com/2022/06/28/1054270/2022-innovatorsai-robots/ (accessed: 08.07.2024).

9. Михайлов И.Ф. Социальные вычисления и происхождение моральных норм. Философский журнал. 2022;15(1):51–68. https://doi.org/10.21146/2072-0726-2022-15-1-51-68

10. Субботина М.В. Искусственный интеллект и высшее образование – враги или союзники. Вестник Российского университета дружбы народов. Серия: Социология. 2024;24(1):176–183. https://doi.org/10.22363/2313-2272-2024-24-1-176-183

11. Ракитов А.И. Высшее образование и искусственный интеллект: эйфория и алармизм. Высшее образование в России. 2018;27(6):41–49. Режим доступа: https://vovr.elpub.ru/jour/article/view/1392 (дата обращения: 08.07.2024).

12. Раицкая Л.К., Ламбовска М.Р. Перспективы применения ChatGPT для высшего образования: обзор международных исследований. Интеграция образования. 2024;28(1):10–21. https://doi.org/10.15507/1991-9468.114.028.202401.010-021

13. Тихонова Е.В. ChatGPT в контексте научной коммуникации. Хранение и переработка сельхозсырья. 2023;(3):8–12. https://doi.org/10.36107/spfp.2023.518

14. Зашихина И.М. Подготовка научной статьи: справится ли ChatGPT? Высшее образование в России. 2023;32(8-9):24–47. https://doi.org/10.31992/0869-3617-2023-32-8-9-24-47

15. Громов М.С., Чертовских М.Г. Большие языковые модели: текущее состояние, оценки и прогнозы. Международный бизнес. 2023;3(5):24–31. Режим доступа: https://ibj.mgimo.ru/jour/article/view/41 (дата обращения: 08.07.2024).

16. Haleem A., Javaid M., Singh R.P. An era of ChatGPT as a significant futuristic support tool: A study on features, abilities, and challenges. BenchCouncil Transactions on Benchmarks, Standards and Evaluations. 2022;2(4):100089. https://doi.org/10.1016/j.tbench.2023.100089

17. Ramos L., Marquez R., Rivas F. AI’s next frontier: The rise of ChatGPT and its implications on society, industry, and scientific research. Revista Ciencia e Ingeniería. 2023;44(2):131–148. Available at: http:// erevistas.saber.ula.ve/index.php/cienciaeingenieria/article/view/18872 (accessed: 02.07.2023).

18. Lund B.D., Wang T. Chatting about ChatGPT: how may AI and GPT impact academia and libraries? Library Hi Tech News. 2023;40(3):26–29. https://doi.org/10.1108/LHTN-01-2023-0009

19. Zohery M. ChatGPT in academic writing and publishing: A comprehensive guide. In: Artificial Intelligence in Academia, Research and Science: ChatGPT as a Case Study. Chapter 2. Publisher: Achtago Publishing; 2023, pp. 10–61. https://doi.org/10.5281/zenodo.7803703

20. Cox A. How artificial intelligence might change academic library work: Applying the competencies literature and the theory of the professions. Journal of the Association for Information Science and Technology. 2023;74(3):367–380. https://doi.org/10.1002/asi.24635

21. Alkaissi H., McFarlane S.I. Artificial hallucinations in ChatGPT: Implications in scientific writing. Cureus. 2023;15(2):e35179. https://doi.org/10.7759/cureus.35179

22. Орехов Б.В. Текст и знание в аспекте больших языковых моделей. Историческая информатика. 2023;(4):104–113. https://doi.org/10.7256/2585-7797.2023.4.44180

23. Bishop L. A computer wrote this paper: What ChatGPT means for education, research, and writing. January 26, 2023. https://doi.org/10.2139/ssrn.4338981

24. Кочетков Д.М. Белый список российских журналов: вопросы, ждущие ответа. Научный редактор и издатель. 2022;7(2):185–190. https://doi.org/10.24069/SEP-22-48

25. Семенов Е.В. Развитие сети научных журналов в России: стратегические, технологические и организационные вопросы. Социологическая наука и социальная практика. 2023;11(3):116–140. https://doi.org/10.19181/snsp.2023.11.3.6

26. Xue J., Wang Y.-C., Wei C., Liu X., Woo J., Kuo C.-C. J. Bias and fairness in chatbots: An overview. APSIPA Transactions on Signal and Information Processing. 2024;13(2):e102. https://doi.org/10.1561/116.00000064

27. Holliday A. Native-Speakerism. In: The TESOL Encyclopedia of English Language Teaching. John Wiley & Sons, Inc.; 2018. https://doi.org/10.1002/9781118784235.eelt0027

28. Гришакина Е.Г., Дёмина А.И. Социально-гуманитарные науки на «перекрестке трех дорог». Научный редактор и издатель. 2022;7(1):87–94. https://doi.org/10.24069/SEP-22-10

29. Kaplan R.B. Cultural thought patterns in inter-cultural education. Language Learning. 1966;16(1-2):1–20. https://doi.org/10.1111/j.1467-1770.1966.tb00804.x

30. Creutzfeldt N. Cultural patterns of disputing behaviour? Zeitschrift für Rechtssoziologie. 2023;43(1):101–120. https://doi.org/10.1515/zfrs-2023-2007

31. Xiaojing G., Yan Y. Cross-cultural comparison of Chinese and foreign media translation of Chinese culture-loaded words. Communications in Humanities Research. 2023;11:137–143. https://doi.org/10.54254/2753-7064/11/20231402

32. Zhao X., Jawing E., Liu X. Chinglish: Unraveling the cultural and cognitive pattern differences in cross-linguistic communication. Malaysian Journal of Social Sciences and Humanities (MJSSH). 2023;8(8):e002472. https://doi.org/10.47405/mjssh.v8i8.2472

33. Зашихина И.М., Печинкина О.В. Формат научных публикаций IMRAD для социально-гуманитарных исследований: шанс быть услышанным. Высшее образование в России. 2022;31(10):150–168. https://doi.org/10.31992/0869-3617-2022-31-10-150-168

34. Короткина И.Б. Английский язык для научно-публикационных целей как новое направление педагогических исследований. Отечественная и зарубежная педагогика. 2018;1(4):115–130. Режим доступа: https://elibrary.ru/xzrfkh (дата обращения: 09.09.2023).

35. Cмирнова Н.В. Академическая грамотность и письмо в вузе: от теории к практике. Высшее образование в России. 2015;(6):58–64. Режим доступа: https://vovr.elpub.ru/jour/article/view/220 (дата обращения: 09.09.2023).

36. Добрынина О.Л. Академическое письмо для научно-публикационных целей. Непрерывное образование: XXI век. 2019;(1):1–10. https://doi.org/10.15393/j5.art.2019.4485

37. Комочкина Е.А., Селезнева Т.В. Обучение академическому письму на родном языке русскоязычных студентов гуманитарного профиля. Rhema. Рема. 2021;(1):111–128. https://doi.org/10.31862/2500-2953-2021-1-111-128

38. Карпенко А.С. Современное состояние исследований в философской логике. Логические исследования. 2003;10:61–93. Режим доступа: https://logicalinvestigations.ru/article/view/221 (дата обращения: 13.06.2024).

39. Etzioni A., Etzioni O. Incorporating ethics into artificial intelligence. The Journal of Ethics. 2017;21(4):403–418. https://doi.org/10.1007/s10892-017-9252-2

40. Stokel-Walker C. AI chatbots have thoroughly infiltrated scientific publishing. May 1, 2024. Available at: https://www.scientificamerican.com/article/chatbots-have-thoroughly-infiltrated-scientificpublishing/ (accessed: 08.07.2024).