Система компьютерного зрения в мобильных устройствах

  • Татьяна Васильевна Смирнова
  • Сергей Витальевич Ткаченко

Аннотация

Представлены результаты проектирования системы компьютерного зрения с использованием глубокого обучения для управления подконтрольными системами. Результаты исследования основаны на использовании сверточной нейронной сети и направлены на решение задач как напрямую, так и косвенно связанных с проблемами в области экологии. Описан принцип и показана базовая модель использования технологии компьютерного зрения в актуальных проектах: 1) соблюдение нормы социального дистанцирования в условиях пандемии COVID; 2) бесконтактный манипулятор для управления техническими объектами. Проект «Социальное дистанцирование в условиях пандемии COVID-19» разработан как средство автоматического контроля за дистанцией в местах массового скопления людей. Изучается принцип работы детектора, основанный на технологии компьютерного зрения, что позволяет контролировать соблюдение нормы физического дистанцирования. Для работы детектора требуется компьютер с необходимым программным обеспечением и результаты изображений с видеокамеры. Работа детектора проверена в реальных условиях: результаты контроля удовлетворительные. Погрешность при определении расстояния не превышала 9 %. Предполагается, что такое устройство может использоваться различными службами, включая санитарные, для контроля соблюдения населением рекомендаций системы здравоохранения относительно правил дистанцирования. Проект «Бесконтактный манипулятор» был разработан для дистанционного управления объектами при работе в труднодоступных и опасных для здоровья человека местах (атомные станции, переработка токсичных отходов), а также людям с ограниченными физическими возможностями. В его работе реализованы три функции – трекинг ключевых точек руки, перехват действий манипулятора компьютерной мыши, управление дополнительными функциями компьютера. Работа манипулятора также проверена в реальных условиях, степень достоверности результатов высокая. В перспективе манипулятор предполагается использовать в мобильном аппаратно-программном комплексе, предназначенном для обработки изображений с последующим анализом данных. Области практического применения комплекса – экологический мониторинг, исследование процессов эрозии почв, наблюдение за изменениями растительного покрова, анализ заболеваемости растений, сортировка отходов, экология человека. Ресурсы современных информационных технологий, реализованные через представленные проекты, демонстрируют возможность замены производства части материальных приборов их виртуальными аналогами, безопасными с точки зрения экологии.

Литература

  1. Bishop CM. Pattern Recognition and Machine Learning. New York: Springer-Verlag; 2006. 738 p.
  2. Sense Time: Artificial Intelligence (AI) Software Provider [Internet; cited 2022 August 25]. Available from: www.sensetime.com.
  3. Tkachenko SV, Smirnova TV. Sovershenstvovaniye struktury iskusstvennykh neyronnykh setey na baze variatsionnoy optimizatsii [Improving of the structure of artificial neural networks based on variational optimization]. In: Sakharovskie chteniya 2020: ekologicheskie problemy XXI veka. Part 2. p. 322–326. DOI:10.46646/SAKH-2020-2-322-326. Russian.
  4. Rosenblatt F. Printsipy neyrodinamiki. Pertseptrony i teoriya mekhanizmov mozga [Principles of neurodynamics. Perceptrons and the theory of brain mechanisms]. Moscow: Mir; 1965. 302 p. Russian.
  5. Duch, J, Hazan E, Singer Y. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. Journal of Machine Learning Research. 2011;5:2121–2159.
  6. Popular Datasets Over Time [Internet; cited 2022 March 25]. Available from: www.kaggle.com/code.
  7. Brink H, Richards J, Feverolf M. Mashinnoye obucheniye [Machine learning]. Saint Petersburg: Piter; 2018. 336 p. Russian.
  8. Wang Ch, Bochkovskiy A., Liao M. Scaled-YOLOv4: Scaling Cross Stage Partial Network [Internet; cited 2022 August 25]. Available from: https://arxiv.org/abs/2011.08036v2.
  9. Boominathan L, Kruthiventi S, Babu R. CrowdNet: A Deep Convolutional Network for Dense Crowd Counting. Proceedings of the 2016 ACM on Multimedia Conference. Amsterdam, Netherlands. 2016: 640–644. DOI:10.1145/2964284.2967300
  10. Cao Z, Xu X, Biao Z, Zhou M, Li Q. Real-time gesture recognition based on feature recalibration network with multi-scale information. Neurocomputing. 2019;347:119–130.
  11. MediaPipe Python Framework [Internet; cited 2022 February 12] Available from: https://google.github.io/mediapipe/solutions/solutions.html
  12. Shakiryanov ED. Komp’yuternoye zreniye na Python [Computer vision in Python]. Moscow: Knowledge Lab; 2021. 163 p. Russian.
Опубликован
2023-11-08
Ключевые слова: компьютерное зрение, искусственная нейронная сеть, сверточная нейронная сеть, анализ изображений, L1-регуляризация, детектор объектов YOLO, NVIDIA CUDA, ключевые точки руки, фреймворк MEDIAPIPE, дополненная реальность
Как цитировать
Смирнова, Т., & Ткаченко, С. (2023). Система компьютерного зрения в мобильных устройствах. Журнал Белорусского государственного университета. Экология, 4. Доступно по https://journals.bsu.by/index.php/ecology/article/view/5911
Выпуск
№ 4 (2022): Журнал Белорусского государственного университета. Экология.
Раздел
Социально-экологические проблемы устойчивого развития