Integrative linguodiscursive methodology for researching artificial text generation products

Authors

  • Marina S. Gutovskaya Belarusian State University, 4 Niezaliezhnasci Avenue, Minsk 220030, Belarus
  • Darya V. Shaibakova Belarusian State University, 4 Niezaliezhnasci Avenue, Minsk 220030, Belarus

Keywords:

large language model, artificial text generation, methodology for evaluating generated text
Supporting Agencies
The work was carried out within the framework of the state scientific research programme «Socio-economic, political and national-cultural security of the Belarusian statehood» for 2026–2030 (subprogramme 12.6 «Linguistics», task 12.6.06 «Modern information technologies in linguistic research», research work 12.6.06.5 «Possibilities of large language models in modern linguistics: theoretical, methodological and applied solutions» (state registration No. 20262323)).

Abstract

A comprehensive methodology for the linguistic investigation of artificially produced texts of a specific genre in comparison with naturally created texts is proposed. The methodology comprises three stages: 1) compiling a corpus of human-authored and generated texts; 2) testing tools for detecting the natural or artificial origin of text; 3) conducting expert and automated evaluation of anthropogenic and machine texts. Each stage is elaborated in detail and accompanied by extensive methodological commentary; in a number of cases, the principles underlying the proposed procedures are illustrated with reference to scientific style texts. For the first time in the study of artificial text generation products, corpus-based, expert, and automated approaches have been integrated into a unified methodology oriented toward a substantive linguistic characterisation of genre-specific and discourse-specific dimensions of generated texts. A two-component evaluation system for artificial text generation products has been developed, encompassing both typologically general features of generated texts and their discourse-conditioned properties. The applicability of mathematical methods to the comparison of human and machine analysis results is demonstrated, enabling the verification of quantitative data obtained. It is noted that the integrative linguodiscursive methodology for studying artificial text generation products has a high reproducibility potential and is applicable to any linguistic and generic material. The developed approach is expected to be of value in further research in the field of natural language processing, in the improvement of artificially generated content detection systems, in the formulation of recommendations for enhancing the performance quality of large language models, and in the elaboration of principles for their safe use in text generation.

Author Biographies

  • Marina S. Gutovskaya, Belarusian State University, 4 Niezaliezhnasci Avenue, Minsk 220030, Belarus

    doctor of science (philology), full professor; head of the department of Germanic linguistics, faculty of philology

  • Darya V. Shaibakova, Belarusian State University, 4 Niezaliezhnasci Avenue, Minsk 220030, Belarus

    lecturer at the department of Germanic linguistics, faculty of philology

References

  1. Авраменко АП. Большие языковые модели в лингвистике и лингводидактике. Москва: Книжный дом «Университет»; 2023. 129 с. Совместно с издательством «Добросвет». DOI: 10.31453/kdu.ru.978-5-7913-1343-0-2023-129.
  2. Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez AN, et al. Attention is all you need. arXiv:1706.03762 [Preprint]. 2017 [cited 2026 February 24]: [15 p.]. Available from: https://arxiv.org/abs/1706.03762. DOI: 10.48550/arXiv.1706.03762.
  3. Floridi L. AI as agency without intelligence: on ChatGPT, large language models, and other generative models. Philosophy & Technology. 2023;36(1):15. DOI: 10.2139/ssrn.4358789.
  4. Bender EM, Gebru T, McMillan-Major A, Shmitchell S. On the dangers of stochastic parrots: can language models be too big? In: Association for Computing Machinery. FAccT’21. Proceedings of the 2021 ACM conference on fairness, accountability, and transparency; 2021 March 3–10; Canada. New York: Association for Computing Machinery; 2021. p. 610–623. DOI: 10.1145/3442188.3445922.
  5. Yi Q, He Y, Wang J, Song X, Yuan X, Li K, et al. Score: story coherence and retrieval enhancement for AI narratives. arXiv:2503.23512 [Preprint]. 2025 [cited 2026 March 4]: [20 p.]. Available from: https://arxiv.org/abs/2503.23512. DOI: 10.2139/ssrn.5243040.
  6. Гончаров ДС, Григорьев СВ. Большие языковые модели на примере чат-ботов GPT-3: сегодняшние реалии, проблемы истины, преимущества и опасности. В: Бабаева ЗШ, редактор. Вызовы современности и стратегии развития общества в условиях новой реальности. Материалы XV Международной научно-практической конференции; 15 марта 2023 г.; Москва, Россия. Москва: Алеф; 2023. с. 283–290. EDN: PLQEBO.
  7. Панда П, Сычева А. ChatGPT. Мастер подсказок, или как создавать сильные промты для нейросети. Санкт-Петербург: Питер; 2024. 221 с. (IT для бизнеса).
  8. Волкова ЕБ. Структурно-семантические качества двухкомпонентных сложноподчиненных предложений изъяснительно-объектного типа в научном стиле русского языка (на материале произведений математического цикла). Вестник Костромского государственного университета им. Н. А. Некрасова. 2011;17(1):86–90. EDN: OJPGMD.
  9. Хохлова МВ, Корышев МВ. Сравнительный анализ сгенерированных и оригинальных аннотаций научных статей по филологической тематике. Научно-технический вестник информационных технологий, механики и оптики. 2024;24(6):999–1006. DOI: 10.17586/2226-1494-2024-24-6-999-1006.
  10. Оломская НН, Юрова ЕА. Лингвопрагматические особенности сгенерированного текста в медиадискурсе социальных сетей (на примере текстов о выборах губернатора в Нижегородской области – 2023 в России). Российский социально-гуманитарный журнал. 2025;2:302–324. DOI: 10.18384/2224-0209-2025-2-1649.
  11. Айдагулова АР. Особенности текстов, сгенерированных искусственным интеллектом. Вестник Башкирского государственного педагогического университета им. М. Акмуллы. 2023;4:154–156. EDN: ROEFNK.
  12. Мельничук АО. Способы и методы обнаружения искусственно созданного текста. В: Ломовая АВ, редактор. Соловьевские чтения – 2024. Минск: Минский государственный лингвистический университет; 2024. с. 191–195.
  13. Безуглый ТА, Ершова МЕ. Использование текстовых нейросетей и искусственного интеллекта в учебных работах студентов. Проблемы современного образования. 2023;5:206–216. DOI: 10.31862/2218-8711-2023-5-206-216.
  14. Тельпов РЕ, Ларцина СВ. Типовые различия естественных и сгенерированных нейронной сетью текстов в квантитативном аспекте. Научный диалог. 2023;12(7):47–65. DOI: 10.24224/2227-1295-2023-12-7-47-65.
  15. Осетрова ЕВ, Седова АВ. Характеристики сгенерированного текста: языковой и социально-коммуникативный анализ. Сибирский филологический форум. 2025;31(2):45–55. DOI: 10.24412/2587-7844-2025-2-45-55.
  16. Вагнер МНЛ, Овезова УА. Компоненты, критерии оценки и показатели уровня сформированности умений академической письменной речи студентов-магистрантов. Мир науки, культуры, образования. 2019;5:292–294. DOI: 10.24411/1991-5497-2019-00120.
  17. Ванюшкина ЛМ, Тихомиров СА, Куракина ИИ. Как написать хорошую научную статью для серьезного научного журнала? Традиционное прикладное искусство и образование. 2019;1:40–54. EDN: AXJKHK.
  18. Ву ТТХ. Ограничения систем автоматического мышления, влияющие на способность имитации письменной речи. В: Бряник НВ, Томильцева ДА, Андрюхина ЛМ, Карташева АА, редакторы. Инженерное мышление: социальные перспективы. Материалы Международной междисциплинарной конференции; 12–13 февраля 2020 г.; Екатеринбург, Россия. Екатеринбург: Деловая книга; 2020. с. 181–186. EDN: REGKVA.

Downloads

Published

2026-09-17

Issue

No. 2 (2026): Journal of the Belarusian State University. Philology

Section

Linguistics

License

Copyright (c) 2026 Journal of the Belarusian State University. Philology

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

The authors who are published in this journal agree to the following:

  1. The authors retain copyright on the work and provide the journal with the right of first publication of the work on condition of license Creative Commons Attribution-NonCommercial. 4.0 International (CC BY-NC 4.0).
  2. The authors retain the right to enter into certain contractual agreements relating to the non-exclusive distribution of the published version of the work (e.g. post it on the institutional repository, publication in the book), with the reference to its original publication in this journal.
  3. The authors have the right to post their work on the Internet (e.g. on the institutional store or personal website) prior to and during the review process, conducted by the journal, as this may lead to a productive discussion and a large number of references to this work. (See The Effect of Open Access.)

How to Cite

[1]
Gutovskaya, M.S. and Shaibakova, D.V. 2026. Integrative linguodiscursive methodology for researching artificial text generation products. Journal of the Belarusian State University. Philology. 2 (Sep. 2026), 95–108. DOI:https://doi.org/10.33581/2521-6775-2026-2-%p.