scieditorScience Editor and PublisherНаучный редактор и издатель2542-02672541-8122АНРИ10.24069/SEP-24-11scieditor-413Research ArticleSCIENTIFIC COMMUNICATIONS AND SCIENTIFIC JOURNALSНАУЧНЫЕ КОММУНИКАЦИИ И НАУЧНЫЕ ЖУРНАЛЫScientific publications and large language models: will neural network understand Russian science?Научные публикации и большие языковые модели: поймет ли нейросеть российскую науку?https://orcid.org/0000-0002-8217-2302ЗашихинаИ. М.ZashikhinaI. M.

Инга Михайловна Зашихина, кандидат философских наук, доцент

Архангельск

Inga M. Zashikhina, Cand. Sci. (Philos.), Associate Professor

Arkhangelsk

zashikhinaim@mail.ruСеверный (Арктический) федеральный университет имени М. В. ЛомоносоваРоссияNorthern (Arctic) Federal University named after M.V. LomonosovRussian Federation20242910202491Supplement 2231246Copyright © Zashikhina I.M., 20242024Зашихина И.М.Zashikhina I.M.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.scieditor.ru/jour/article/view/413

The impact of artificial intelligence technologies, neural networks, and chatbots on science and education has induced widespread discussion in the academic community. It is no longer possible to contain the use of neural networks such as ChatGPT for writing texts, including scientific texts. The present study is done in a qualitative approach. The aim of the study is to analyze the application of large language models on the example of ChatGPT in the scientific publishing activities of Russian scientists. The practice of using chatbots does not always satisfy the user and the scientific community as a whole. On the one hand, the user is confronted with the lack of the requested information. On the other hand, the scientific community, and especially editors and readers of scientific journals, question the feasibility of neural networks due to the shortcomings of large language models that have been widely disputed in scientific publications. This study shows that there is another reason to distrust neural networks. Incompleteness and opacity of the information produced by artificial intelligence is related to the texts on which neural networks are trained. For Russian science, this problem poses a serious threat, since popular artificial intelligence companies use mostly English-language texts to teach their neural nets. The author puts forward the opinion that the social and humanitarian knowledge produced in modern Russia remains outside the scope of texts used for training neural networks. This point of view is supported by research by Russian scientists on Arctic governance. The data is absent in the English-language texts of ChatGPT but reflected in Russian-language publications. 

Влияние технологий искусственного интеллекта, нейросетей, чат-ботов на науку и образование вызвало широкую дискуссию в академическом сообществе. Уже не представляется возможным сдержать использование нейросетей, таких как ChatGPT, для написания текстов, в том числе научных. Настоящее исследование выполнено в рамках качественного подхода. Целью исследования является анализ применения больших языковых моделей на примере ChatGPT в научно-публикационной деятельности российских ученых. Практика применения чат-ботов далеко не всегда приносит удовлетворительный результат как для пользователя, так и для научного сообщества в целом. Пользователь зачастую сталкивается с отсутствием запрашиваемой информации в ответе нейросети, которое является результатом ограничения выборки текстов для ее обучения. Научное сообщество, и особенно редакторы и читатели научных журналов, ставит под сомнение возможность применения нейросетей в связи с недостатками больших языковых моделей, получившими широкое освещение в научных публикациях. Данное исследование показывает, что есть еще одна причина не доверять нейросетям. Неполнота и непрозрачность производимой искусственным интеллектом информации связаны с текстами, на которых обучаются нейросети. Для российской науки данная проблема несет серьезную угрозу, поскольку популярные компании – производители искусственного интеллекта для этой цели используют преимущественно англоязычные тексты. Автор выдвигает мнение о том, что социально-гуманитарное знание, производимое в современной России, остается за пределами текстов, применяемых для обучения нейросетей. Такая точка зрения подтверждается данными исследования, посвященного управлению Российской Арктикой. Информация по данной тематике имеет отражение в русскоязычных публикациях, но отсутствует в ответах англоязычных ChatGPT. 

искусственный интеллектнейросетибольшие языковые моделиобучение больших языковых моделейнаучные публикациитекст научной статьирусскоязычные текстыartificial intelligenceneural networkslarge language modelslarge language models learningscientific publicationsscientific article textRussian-language textsReferencesИвахненко Е.Н., Никольский В.С. ChatGPT в высшем образовании и науке: угроза или ценный ресурс? Высшее образование в России. 2023;32(4):9–22. https://doi.org/10.31992/0869-3617-2023-32-4-9-22Ivakhnenko E.N., Nikolskiy V.S. ChatGPT in Higher Education and Science: a threat or a valuable resource? Higher Education in Russia. 2023;32(4):9–22. (In Russ.). https://doi.org/10.31992/0869-3617-2023-32-4-9-22Резаев А.В., Трегубова Н.Д. ChatGPT и искусственный интеллект в университетах: какое будущее нам ожидать? Высшее образование в России. 2023;32(6):19–37. https://doi.org/10.31992/0869-3617-2023-32-6-19-37Rezaev A.V., Tregubova N.D. ChatGPT and AI in the Universities: An introduction to the near future. Higher Education in Russia. 2023;32(6):19–37. (In Russ.). https://doi.org/10.31992/0869-3617-2023-32-6-19-37Чапкин Н.С. Применение ChatGPT в образовании и науке. Альманах «Крым». 2023;(37):42–46.Chapkin N.S. Application of ChatGPT in education and science. Crimea Almanac. 2023;(37):42–46. (In Russ.).Stokel-Walker C. ChatGPT listed as author on research papers: many scientists disapprove. Nature. 2023;613(7945):620–621. https://doi.org/10.1038/d41586-023-00107-zStokel-Walker C. ChatGPT listed as author on research papers: many scientists disapprove. Nature. 2023;613(7945):620–621. https://doi.org/10.1038/d41586-023-00107-zStokel-Walker C., Noorden R. What ChatGPT and generative AI mean for science. Nature. 2023;614(7947):214–216. https://doi.org/10.1038/d41586-023-00340-6Stokel-Walker C., Noorden R. What ChatGPT and generative AI mean for science. Nature. 2023;614(7947):214–216. https://doi.org/10.1038/d41586-023-00340-6Stokel-Walker C. AI chatbots are coming to search engines – can you trust the results? Nature. February 13, 2023. https://doi.org/10.1038/d41586-023-00423-4Stokel-Walker C. AI chatbots are coming to search engines – can you trust the results? Nature. February 13, 2023. https://doi.org/10.1038/d41586-023-00423-4Thorp H.H. ChatGPT is fun, but not an author. Science. 2023;379(6630):313. https://doi.org/10.1126/science.adg7879Thorp H.H. ChatGPT is fun, but not an author. Science. 2023;379(6630):313. https://doi.org/10.1126/science.adg7879Etzioni O. AI’s progress isn’t the same as creating human intelligence in machines. MIT Technology Review. June 28, 2022. Available at: https://www.technologyreview.com/2022/06/28/1054270/2022-innovatorsai-robots/ (accessed: 08.07.2024).Etzioni O. AI’s progress isn’t the same as creating human intelligence in machines. MIT Technology Review. June 28, 2022. Available at: https://www.technologyreview.com/2022/06/28/1054270/2022-innovatorsai-robots/ (accessed: 08.07.2024).Михайлов И.Ф. Социальные вычисления и происхождение моральных норм. Философский журнал. 2022;15(1):51–68. https://doi.org/10.21146/2072-0726-2022-15-1-51-68Mikhailov I.F. Social computations and the origin of moral norms. Philosophy Journal. 2022;15(1):51–68. (In Russ.). https://doi.org/10.21146/2072-0726-2022-15-1-51-68Субботина М.В. Искусственный интеллект и высшее образование – враги или союзники. Вестник Российского университета дружбы народов. Серия: Социология. 2024;24(1):176–183. https://doi.org/10.22363/2313-2272-2024-24-1-176-183Subbotina M.V. Artificial intelligence and higher education – enemies or allies. RUDN Journal of Sociology. 2024;24(1):176–183. (In Russ.). https://doi.org/10.22363/2313-2272-2024-24-1-176-183Ракитов А.И. Высшее образование и искусственный интеллект: эйфория и алармизм. Высшее образование в России. 2018;27(6):41–49. Режим доступа: https://vovr.elpub.ru/jour/article/view/1392 (дата обращения: 08.07.2024).Rakitov A.I. Higher education and artificial intelligence: euphoria and Alarmism. Higher Education in Russia. 2018;27(6):41–49. (In Russ.) Available at: https://vovr.elpub.ru/jour/article/view/1392 (accessed: 08.07.2024).Раицкая Л.К., Ламбовска М.Р. Перспективы применения ChatGPT для высшего образования: обзор международных исследований. Интеграция образования. 2024;28(1):10–21. https://doi.org/10.15507/1991-9468.114.028.202401.010-021Raitskaya L.K., Lambovska M.R. Prospects for ChatGPT application in higher education: A scoping review of international research. Integration of Education. 2024;28(1):10–21. (In Russ.). https://doi.org/10.15507/1991-9468.114.028.202401.010-021Тихонова Е.В. ChatGPT в контексте научной коммуникации. Хранение и переработка сельхозсырья. 2023;(3):8–12. https://doi.org/10.36107/spfp.2023.518Tikhonova E.V. ChatGPT in the Context of Scientific Communication. Storage and Processing of Farm Products. 2023;(3):8–12. (In Russ.) https://doi.org/10.36107/spfp.2023.518Зашихина И.М. Подготовка научной статьи: справится ли ChatGPT? Высшее образование в России. 2023;32(8-9):24–47. https://doi.org/10.31992/0869-3617-2023-32-8-9-24-47Zashikhina I.M. Scientific article writing: Will ChatGPT help? Higher Education in Russia. 2023;32(8-9):24–47. (In Russ.). https://doi.org/10.31992/0869-3617-2023-32-8-9-24-47Громов М.С., Чертовских М.Г. Большие языковые модели: текущее состояние, оценки и прогнозы. Международный бизнес. 2023;3(5):24–31. Режим доступа: https://ibj.mgimo.ru/jour/article/view/41 (дата обращения: 08.07.2024).Gromov M.S., Chertovskikh M.G. Large language models: current status, estimates and predictions. International Business. 2023;3(5):24–31. Available at: https://ibj.mgimo.ru/jour/article/view/41 (accessed: 08.07.2024).Haleem A., Javaid M., Singh R.P. An era of ChatGPT as a significant futuristic support tool: A study on features, abilities, and challenges. BenchCouncil Transactions on Benchmarks, Standards and Evaluations. 2022;2(4):100089. https://doi.org/10.1016/j.tbench.2023.100089Haleem A., Javaid M., Singh R.P. An era of ChatGPT as a significant futuristic support tool: A study on features, abilities, and challenges. BenchCouncil Transactions on Benchmarks, Standards and Evaluations. 2022;2(4):100089. https://doi.org/10.1016/j.tbench.2023.100089Ramos L., Marquez R., Rivas F. AI’s next frontier: The rise of ChatGPT and its implications on society, industry, and scientific research. Revista Ciencia e Ingeniería. 2023;44(2):131–148. Available at: http:// erevistas.saber.ula.ve/index.php/cienciaeingenieria/article/view/18872 (accessed: 02.07.2023).Ramos L., Marquez R., Rivas F. AI’s next frontier: The rise of ChatGPT and its implications on society, industry, and scientific research. Revista Ciencia e Ingeniería. 2023;44(2):131–148. Available at: http:// erevistas.saber.ula.ve/index.php/cienciaeingenieria/article/view/18872 (accessed: 02.07.2023).Lund B.D., Wang T. Chatting about ChatGPT: how may AI and GPT impact academia and libraries? Library Hi Tech News. 2023;40(3):26–29. https://doi.org/10.1108/LHTN-01-2023-0009Lund B.D., Wang T. Chatting about ChatGPT: how may AI and GPT impact academia and libraries? Library Hi Tech News. 2023;40(3):26–29. https://doi.org/10.1108/LHTN-01-2023-0009Zohery M. ChatGPT in academic writing and publishing: A comprehensive guide. In: Artificial Intelligence in Academia, Research and Science: ChatGPT as a Case Study. Chapter 2. Publisher: Achtago Publishing; 2023, pp. 10–61. https://doi.org/10.5281/zenodo.7803703Zohery M. ChatGPT in academic writing and publishing: A comprehensive guide. In: Artificial Intelligence in Academia, Research and Science: ChatGPT as a Case Study. Chapter 2. Publisher: Achtago Publishing; 2023, pp. 10–61. https://doi.org/10.5281/zenodo.7803703Cox A. How artificial intelligence might change academic library work: Applying the competencies literature and the theory of the professions. Journal of the Association for Information Science and Technology. 2023;74(3):367–380. https://doi.org/10.1002/asi.24635Cox A. How artificial intelligence might change academic library work: Applying the competencies literature and the theory of the professions. Journal of the Association for Information Science and Technology. 2023;74(3):367–380. https://doi.org/10.1002/asi.24635Alkaissi H., McFarlane S.I. Artificial hallucinations in ChatGPT: Implications in scientific writing. Cureus. 2023;15(2):e35179. https://doi.org/10.7759/cureus.35179Alkaissi H., McFarlane S.I. Artificial hallucinations in ChatGPT: Implications in scientific writing. Cureus. 2023;15(2):e35179. https://doi.org/10.7759/cureus.35179Орехов Б.В. Текст и знание в аспекте больших языковых моделей. Историческая информатика. 2023;(4):104–113. https://doi.org/10.7256/2585-7797.2023.4.44180Orekhov B.V. Text and knowledge in the aspect of large language models. Historical Informatics. 2023;(4):104–113. (In Russ.) https://doi.org/10.7256/2585-7797.2023.4.44180Bishop L. A computer wrote this paper: What ChatGPT means for education, research, and writing. January 26, 2023. https://doi.org/10.2139/ssrn.4338981Bishop L. A computer wrote this paper: What ChatGPT means for education, research, and writing. January 26, 2023. https://doi.org/10.2139/ssrn.4338981Кочетков Д.М. Белый список российских журналов: вопросы, ждущие ответа. Научный редактор и издатель. 2022;7(2):185–190. https://doi.org/10.24069/SEP-22-48Kochetkov D.M. Russian Journal Whitelist: Questions to be answered. Science Editor and Publisher. 2022;7(2):185–190. https://doi.org/10.24069/SEP-22-48Семенов Е.В. Развитие сети научных журналов в России: стратегические, технологические и организационные вопросы. Социологическая наука и социальная практика. 2023;11(3):116–140. https://doi.org/10.19181/snsp.2023.11.3.6Semenov E.V. Development of the scientific journals network in Russia: strategic, technological and organizational issues. Sociologicheskaja Nauka i Social’naja Praktika. 2023;11(3):116–140. (In Russ.) https://doi.org/10.19181/snsp.2023.11.3.6Xue J., Wang Y.-C., Wei C., Liu X., Woo J., Kuo C.-C. J. Bias and fairness in chatbots: An overview. APSIPA Transactions on Signal and Information Processing. 2024;13(2):e102. https://doi.org/10.1561/116.00000064Xue J., Wang Y.-C., Wei C., Liu X., Woo J., Kuo C.-C. J. Bias and fairness in chatbots: An overview. APSIPA Transactions on Signal and Information Processing. 2024;13(2):e102. https://doi.org/10.1561/116.00000064Holliday A. Native-Speakerism. In: The TESOL Encyclopedia of English Language Teaching. John Wiley & Sons, Inc.; 2018. https://doi.org/10.1002/9781118784235.eelt0027Holliday A. Native-Speakerism. In: The TESOL Encyclopedia of English Language Teaching. John Wiley & Sons, Inc.; 2018. https://doi.org/10.1002/9781118784235.eelt0027Гришакина Е.Г., Дёмина А.И. Социально-гуманитарные науки на «перекрестке трех дорог». Научный редактор и издатель. 2022;7(1):87–94. https://doi.org/10.24069/SEP-22-10Grishakina E.G., Demina A.I. Social and humanitarian sciences at the “crossroads of three roads”. Science Editor and Publisher. 2022;7(1):87–94. (In Russ.). https://doi.org/10.24069/SEP-22-10Kaplan R.B. Cultural thought patterns in inter-cultural education. Language Learning. 1966;16(1-2):1–20. https://doi.org/10.1111/j.1467-1770.1966.tb00804.xKaplan R.B. Cultural thought patterns in inter-cultural education. Language Learning. 1966;16(1-2):1–20. https://doi.org/10.1111/j.1467-1770.1966.tb00804.xCreutzfeldt N. Cultural patterns of disputing behaviour? Zeitschrift für Rechtssoziologie. 2023;43(1):101–120. https://doi.org/10.1515/zfrs-2023-2007Creutzfeldt N. Cultural patterns of disputing behaviour? Zeitschrift für Rechtssoziologie. 2023;43(1):101–120. https://doi.org/10.1515/zfrs-2023-2007Xiaojing G., Yan Y. Cross-cultural comparison of Chinese and foreign media translation of Chinese culture-loaded words. Communications in Humanities Research. 2023;11:137–143. https://doi.org/10.54254/2753-7064/11/20231402Xiaojing G., Yan Y. Cross-cultural comparison of Chinese and foreign media translation of Chinese culture-loaded words. Communications in Humanities Research. 2023;11:137–143. https://doi.org/10.54254/2753-7064/11/20231402Zhao X., Jawing E., Liu X. Chinglish: Unraveling the cultural and cognitive pattern differences in cross-linguistic communication. Malaysian Journal of Social Sciences and Humanities (MJSSH). 2023;8(8):e002472. https://doi.org/10.47405/mjssh.v8i8.2472Zhao X., Jawing E., Liu X. Chinglish: Unraveling the cultural and cognitive pattern differences in cross-linguistic communication. Malaysian Journal of Social Sciences and Humanities (MJSSH). 2023;8(8):e002472. https://doi.org/10.47405/mjssh.v8i8.2472Зашихина И.М., Печинкина О.В. Формат научных публикаций IMRAD для социально-гуманитарных исследований: шанс быть услышанным. Высшее образование в России. 2022;31(10):150–168. https://doi.org/10.31992/0869-3617-2022-31-10-150-168Zashikhina I.M., Pechinkina O.V. Scientific publications format IMRaD for social and humanities research: A chance to be heard. Higher Education in Russia. 2022;31(10):150–168. (In Russ.). https://doi.org/10.31992/0869-3617-2022-31-10-150-168Короткина И.Б. Английский язык для научно-публикационных целей как новое направление педагогических исследований. Отечественная и зарубежная педагогика. 2018;1(4):115–130. Режим доступа: https://elibrary.ru/xzrfkh (дата обращения: 09.09.2023).Korotkina I.B. English for research publication purposes as a new field of educational studies. Domestic and Foreign Pedagogy. 2018;1(4):115–130. (In Russ.). Available at: https://elibrary.ru/xzrfkh (accessed: 09.09.2023).Cмирнова Н.В. Академическая грамотность и письмо в вузе: от теории к практике. Высшее образование в России. 2015;(6):58–64. Режим доступа: https://vovr.elpub.ru/jour/article/view/220 (дата обращения: 09.09.2023).Smirnova N.V. Fostering academic literacy and academic writing in university: From theory to practice. Higher Education in Russia. 2015;(6):58–64. (In Russ.). Available at: https://vovr.elpub.ru/jour/article/view/220 (accessed: 09.09.2023).Добрынина О.Л. Академическое письмо для научно-публикационных целей. Непрерывное образование: XXI век. 2019;(1):1–10. https://doi.org/10.15393/j5.art.2019.4485Dobrynina O.L. Academic writing for research publication purposes. Lifelong Education: The 21st Century. 2019;(1):1–10. (In Russ.). https://doi.org/10.15393/j5.art.2019.4485Комочкина Е.А., Селезнева Т.В. Обучение академическому письму на родном языке русскоязычных студентов гуманитарного профиля. Rhema. Рема. 2021;(1):111–128. https://doi.org/10.31862/2500-2953-2021-1-111-128Komochkina E.A., Selezneva T.V. Teaching of academic writing techniques to Russian-language students of the Humanities in native tongue. Rhema. Rhema. 2021;(1):111–128. (In Russ.). https://doi.org/10.31862/2500-2953-2021-1-111-128Карпенко А.С. Современное состояние исследований в философской логике. Логические исследования. 2003;10:61–93. Режим доступа: https://logicalinvestigations.ru/article/view/221 (дата обращения: 13.06.2024).Karpenko A.S. Modern state of research in philosophical logic. Logical investigations. 2003;10:61–93. (In Russ.). Available at: https://logicalinvestigations.ru/article/view/221 (accessed: 13.06.2024).Etzioni A., Etzioni O. Incorporating ethics into artificial intelligence. The Journal of Ethics. 2017;21(4):403–418. https://doi.org/10.1007/s10892-017-9252-2Etzioni A., Etzioni O. Incorporating ethics into artificial intelligence. The Journal of Ethics. 2017;21(4):403–418. https://doi.org/10.1007/s10892-017-9252-2Stokel-Walker C. AI chatbots have thoroughly infiltrated scientific publishing. May 1, 2024. Available at: https://www.scientificamerican.com/article/chatbots-have-thoroughly-infiltrated-scientificpublishing/ (accessed: 08.07.2024).Stokel-Walker C. AI chatbots have thoroughly infiltrated scientific publishing. May 1, 2024. Available at: https://www.scientificamerican.com/article/chatbots-have-thoroughly-infiltrated-scientificpublishing/ (accessed: 08.07.2024).

The authors declare that there are no conflicts of interest present.