Система распознавания походки в реальном времени на основе легковесной двухмодальной оценки положения

Авторы

  • Дин Аоди Белорусский государственный университет, пр. Независимости, 4, 220030, г. Минск, Беларусь
  • Йе Шипинг Чжэцзян-Шуренский университет, ул. Шурен, 8, 310015, г. Ханчжоу, Китай
  • Александр Михайлович Недзьведь Белорусский государственный университет, пр. Независимости, 4, 220030, г. Минск, Беларусь , Объединенный институт проблем информатики НАН Беларуси, ул. Сурганова, 6, 220012, г. Минск, Беларусь
  • Виктор Сергеевич Аносов 6-я городская клиническая больница, ул. Уральская, 5, 220037, г. Минск, Беларусь

Ключевые слова:

анализ походки, оценка 3D-позы, облегченная модель, двухмодальное распознавание
Поддерживающие организации
Работа была выполнена при финансовой поддержке Китайского стипендиального совета и Министерства трудовых ресурсов и социального обеспечения Китая (гранты № H20250551 и H20240330).

Аннотация

Предлагается облегченный подход к совместному анализу походки в 2D- и 3D-пространствах. Реализуется двухмодальная система распознавания походки, обеспечивающая ее высокоточную оценку в реальном времени за счет архитектуры совместной 2D- и 3D-реконструкции. В рамках системы для детекции ключевых точек скелета в 2D-пространстве и извлечения биометрических метрик походки применяется библиотека MediaPipe. Для трехмерной оценки позы используется модифицированная облегченная архитектура MTSA-former, которая содержит 2,5 млн параметров. Данная модель реализует каскадную обработку, включающую отдельные временные и пространственные модули, а также матрицу смежности, которая построена на основе топологической структуры скелета, что позволяет эффективно моделировать физические ограничения между суставами. Для достижения высокой производительности при сохранении вычислительной легкости предлагается гибридная локально-глобальная стратегия пространственного моделирования, интегрирующая графовые сверточные сети. Такой подход обеспечивает точную и эффективную реконструкцию 3D-позы в условиях реального времени.

Биографии авторов

  • Дин Аоди, Белорусский государственный университет, пр. Независимости, 4, 220030, г. Минск, Беларусь

    аспирант кафедры информационных систем управления факультета прикладной математики и информатики. Научный руководитель – А. М. Недзьведь

  • Йе Шипинг, Чжэцзян-Шуренский университет, ул. Шурен, 8, 310015, г. Ханчжоу, Китай

    проректор

  • Александр Михайлович Недзьведь, Белорусский государственный университет, пр. Независимости, 4, 220030, г. Минск, Беларусь, Объединенный институт проблем информатики НАН Беларуси, ул. Сурганова, 6, 220012, г. Минск, Беларусь

    доктор технических наук, доцент; заведующий кафедрой информационных систем управления факультета прикладной математики и информатики Белорусского государственного университета, главный научный сотрудник отдела интеллектуальных информационных систем Объединенного института проблем информатики НАН Беларуси

  • Виктор Сергеевич Аносов, 6-я городская клиническая больница, ул. Уральская, 5, 220037, г. Минск, Беларусь

    главный врач

Библиографические ссылки

  1. Rastegari E, Azizian S, Ali H. Machine learning and similarity network approaches to support automatic classification of Parkinson’s diseases using accelerometer-based gait analysis. In: Bui TX, editor. Proceedings of the 52nd Hawaii international conference on system sciences; 2019 January 8–11; Grand Wailea, USA. Honolulu: ScholarSpace; 2019. p. 4231–4242. DOI: 10.24251/HICSS.2019.511.
  2. Ťupa O, Procházka A, Vyšata O, Schätz M, Mařík J, Vališ M, et al. Motion tracking and gait feature estimation for recognizing Parkinson’s disease using deep learning. BioMedical Engineering OnLine. 2015;14(1):97. DOI: 10.1186/s12938-015-0092-7.
  3. Lugaresi C, Tang J, Nash H, McClanahan C, Uboweja E, Hays M, et al. MediaPipe: a framework for building perception pipelines. arXiv:1906.08172 [Preprint]. 2019 [cited 2025 August 24]: [9 p.]. Available from: https://arxiv.org/pdf/1906.08172.
  4. Zeng W, Ouyang W, Luo P, Liu W, Wang X. 3D human mesh regression with dense correspondence. In: Institute of Electrical and Electronics Engineers. Proceedings of the 2020 IEEE/CVF conference on computer vision and pattern recognition (CVPR); 2020 June 13–19; Seattle, USA. [S. l.]: Institute of Electrical and Electronics Engineers; 2020. p. 7052–7061. DOI: 10.1109/CVPR42600.2020.00708.
  5. Bazarevsky V, Grishchenko I, Raveendran K, Zhu T, Zhang F, Grundmann M. BlazePose: on-device real-time body pose tracking. arXiv:2006.10204 [Preprint]. 2020 [cited 2025 May 22]: [4 p.]. Available from: https://arxiv.org/pdf/2006.10204.
  6. Grishchenko I, Ablavatski A, Kartynnik Y, Raveendran K, Grundmann M. Attention mesh: high-fidelity face mesh prediction in real-time. arXiv:2006.10962 [Preprint]. 2021 [cited 2025 May 1]: [4 p.]. Available from: https://arxiv.org/pdf/2006.10962.
  7. Ionescu C, Papava D, Olaru V, Sminchisescu C. Human3.6M: large scale datasets and predictive methods for 3D human sensing in natural environments. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2014;36(7):1325–1339. DOI: 10.1109/TPAMI.2013.248.
  8. Wandt B, Rosenhahn B. RepNet: weakly supervised training of an adversarial reprojection network for 3D human pose estimation. In: Institute of Electrical and Electronics Engineers. Proceedings of the 2019 IEEE/CVF conference on computer vision and pattern recognition (CVPR); 2019 June 15–20; Long Beach, USA. [S. l.]: Institute of Electrical and Electronics Engineers; 2019. p. 7774–7783. DOI: 10.1109/CVPR.2019.00797.
  9. Baker R, McGinley JL, Schwartz MH, Beynon S, Rozumalski A, Graham HK, et al. The gait profile score and movement analysis profile. Gait & Posture. 2009;30(3):265–269. DOI: 10.1016/j.gaitpost.2009.05.020.
  10. Kainz H, Carty ChP, Modenese L, Boyd RN, Lloyd DG. Estimation of the hip joint centre in human motion analysis: a systematic review. Clinical Biomechanics. 2020;30(4):319–329. DOI: 10.1016/j.clinbiomech.2015.02.005.
  11. Zheng C, Zhu S, Mendieta M, Yang T, Chen C, Ding Z. 3D human pose estimation with spatial and temporal transformers. In: Institute of Electrical and Electronics Engineers. Proceedings of the 2021 IEEE/CVF International conference on computer vision (ICCV); 2021 October 10–17; Montreal, Canada. [S. l.]: Institute of Electrical and Electronics Engineers; 2021. p. 11636–11645. DOI: 10.1109/ICCV48922.2021.01145.
  12. Li W, Liu H, Tang H, Wang P, Van Gool L. MHFormer: multi-hypothesis transformer for 3D human pose estimation. In: Institute of Electrical and Electronics Engineers. Proceedings of the 2022 IEEE/CVF conference on computer vision and pattern recognition (CVPR); 2022 June 18–24; New Orleans, USA. [S. l.]: Institute of Electrical and Electronics Engineers; 2022. p. 13147–13156.

Загрузки

Дополнительные файлы

Опубликован

2026-05-19

Выпуск

№ 1 (2026): Журнал Белорусского государственного университета. Математика. Информатика

Раздел

Анализ данных

Лицензия

Copyright (c) 2026 Журнал Белорусского государственного университета. Математика. Информатика

Лицензия Creative Commons

Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial» («Атрибуция — Некоммерческое использование») 4.0 Всемирная.

Авторы, публикующиеся в данном журнале, соглашаются со следующим:

  1. Авторы сохраняют за собой авторские права на работу и предоставляют журналу право первой публикации работы на условиях лицензии Creative Commons Attribution-NonCommercial. 4.0 International (CC BY-NC 4.0).
  2. Авторы сохраняют право заключать отдельные контрактные договоренности, касающиеся неэксклюзивного распространения версии работы в опубликованном здесь виде (например, размещение ее в институтском хранилище, публикацию в книге) со ссылкой на ее оригинальную публикацию в этом журнале.
  3. Авторы имеют право размещать их работу в интернете (например, в институтском хранилище или на персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу. (См. The Effect of Open Access).

Как цитировать

[1]
Аоди, Д. и др. 2026. Система распознавания походки в реальном времени на основе легковесной двухмодальной оценки положения. Журнал Белорусского государственного университета. Математика. Информатика. 1 (май 2026), 130–139.