Идентификация объектов земной поверхности на основе ансамблей сверточных нейронных сетей

Авторы

  • Евгений Евгеньевич Марушко Объединенный институт проблем информатики НАН Беларуси, ул. Сурганова, 6, 220012, г. Минск, Беларусь
  • Александр Арсентьевич Дудкин Объединенный институт проблем информатики НАН Беларуси, ул. Сурганова, 6, 220012, г. Минск, Беларусь
  • Сиантао Чен Сианьский институт оптики и точной механики Китайской академии наук, Шэньси, 710119, г. Сиань, Китай

Ключевые слова:

сверточная нейронная сеть, машина опорных векторов, ансамбль нейронных сетей, изображение поверхности Земли, дистанционное зондирование, радар с синтезированной апертурой
Поддерживающие организации
Работа частично поддержана Белорусским фондом фундаментальных исследований и национальным фондом естественных наук Китая (проект № Ф20-017).

Аннотация

В работе предлагается методика идентификации объектов на изображениях поверхности Земли, основанная на сочетании методов машинного обучения. В качестве исходных моделей рассматриваются различные варианты многослойных сверточных нейронных сетей и машин опорных векторов. Предлагается также гибридная сверточная нейронная сеть, которая комбинирует признаки, выделенные нейронной сетью и экспертами. Оптимальные значения гиперпараметров моделей вычисляются методами сеточного поиска с использованием k-кратной перекрестной проверки. Показана возможность повышения точности идентификации на основе ансамблей указанных моделей нейронных сетей. Эффективность предложенного подхода демонстрируется на примере изображений, полученных радаром с синтезированной апертурой.

Биографии авторов

  • Евгений Евгеньевич Марушко, Объединенный институт проблем информатики НАН Беларуси, ул. Сурганова, 6, 220012, г. Минск, Беларусь

    научный сотрудник лаборатории идентификации систем

  • Александр Арсентьевич Дудкин, Объединенный институт проблем информатики НАН Беларуси, ул. Сурганова, 6, 220012, г. Минск, Беларусь

    доктор технических наук, профессор; заведующий лабораторией идентификации систем.

  • Сиантао Чен, Сианьский институт оптики и точной механики Китайской академии наук, Шэньси, 710119, г. Сиань, Китай

    PhD (signal and information processing); associate professor at the key laboratory of spectral imaging technology

Библиографические ссылки

  1. Kim M, Choi W, Jeon Y, Liu L. A hybrid neural network model for power demand forecasting. Energies. 2019;12(5):931. DOI: 10.3390/en12050931.
  2. Frankel A, Tachida K, Jones R. Prediction of the evolution of the stress field of polycrystals undergoing elastic-plastic deformation with a hybrid neural network model. Machine Learning: Science and Technology. 2020;1(3):035005. DOI: 10.1088/2632-2153/ ab9299.
  3. Liu H, Yang R, Wang T, Zhang L. A hybrid neural network model for short-term wind speed forecasting based on decomposition, multi-learner ensemble, and adaptive multiple error corrections. Renewable Energy. 2021;165:573–594. DOI: 10.1016/j. renene.2020.11.002.
  4. Ma C, Du X, Cao L. Analysis of multi-types of flow features based on hybrid neural network for improving network anomaly detection. IEEE Access. 2019;7:148363–148380. DOI: 10.1109/ACCESS.2019.2946708.
  5. Berkhahn S, Fuchs L, Neuweiler I. An ensemble neural network model for real-time prediction of urban floods. Journal of hydrology. 2019;575:743–754. DOI: 10.1016/j.jhydrol.2019.05.066.
  6. Cheng B, Wu W, Tao D, Mei S, Mao T, Cheng J. Random cropping ensemble neural network for image classification in a robotic arm grasping system. IEEE Transactions on Instrumentation and Measurement. 2020;69(9):6795–6806. DOI: 10.1109/ TIM.2020.2976420.
  7. Large scale visual recognition challenge [Internet; cited 29.01.2021]. Available from: http://image-net.org/challenges/LSVRC/ 2016/results.
  8. LeCun Y, Boser B, Denker JS, Henderson D, Howard RE, Hubbard W, et al. Backpropagation applied to handwritten zip code recognition. Neural computation. 1989;1(4):541–551.
  9. Goodfellow I, Bengio Y, Courville A. Deep Learning. Cambridge: MIT Press; 2016. 781 p.
  10. Parikh D, Polikar R. An ensemble-based incremental learning approach to data fusion. IEEE Transactions on Systems, Man and Cybernetics. Part B: Cybernetics. 2007;37(2):437450. DOI: 10.1109/TSMCB.2006.883873.
  11. Marushko EE, Doudkin AA. Ensembles of neural networks for forecasting of time series of spacecraft telemetry. Optical Memory and Neural Networks. 2017;26(1):47–54. DOI: 10.3103/S1060992X17010064.
  12. Kourentzes N, Barrow D, Crone S. Neural network ensemble operators for time series forecasting. Expert Systems with Applications. 2014;41(9):4235–4244. DOI: 10.1016/j.eswa.2013.12.011.
  13. Vapnik V. The nature of statistical learning theory. 2nd edition. New York: Springer; 1999. 314 p.
  14. Bergstra J, Bengio Y. Random search for hyper-parameter optimization. Machine Learning Research. 2012;13:281305.
  15. Statoil/C-CORE iceberg classifier challenge. Data [Internet; cited 29.01.2021]. Available from: https://www.kaggle.com/c/ statoil-iceberg-classifier-challenge/data.
  16. Kingma DP, Ba J. Adam: a method for stochastic optimization. arXiv:1412.6980. 2017 [cited 29.01.2021]: [15 p.]. Available from: https://arxiv.org/abs/1412.6980.
  17. Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv:1409.1556 [Preprint]. 2015 [cited 29.01.2021]: [14 p.]. Available from: https://arxiv.org/abs/1409.1556.
  18. Chollet F. Xception: deep learning with depthwise separable convolutions. In: IEEE Computer Society. 2017 IEEE Conference on computer vision and pattern recognition (CVPR); 2017 July 21–26; Honolulu, USA. Los Alamitos: IEEE; 2017. p. 1251–1258. DOI: 10.1109/CVPR.2017.195.
  19. He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. In: IEEE Computer Society. Proceedings of the IEEE conference on computer vision and pattern recognition; 2016 June 27–30; Las Vegas, Nevada. Los Alamitos: IEEE; 2016. p. 770–778. DOI: 10.1109/CVPR.2016.90.
  20. Tan M, Le QV. Efficient net: rethinking model scaling for convolutional neural networks. arXiv:1905.11946 [Preprint]. 2020 [cited 29.01.2021]: [11 p.]. Available from: https://arxiv.org/abs/1905.11946.
  21. Huang G, Liu Z, Van Der Maaten L, Weinberger KQ. Densely connected convolutional networks. In: IEEE Computer Society. 2017 IEEE Conference on computer vision and pattern recognition (CVPR); 2017 July 21–26; Honolulu, USA. Los Alamitos: IEEE; 2017. p. 2261–2269. DOI: 10.1109/CVPR.2017.243.
  22. Sandler M, Howard A, Zhu M, Zhmoginov A, Chen LC. MobilenetV2: inverted residuals and linear bottlenecks. In: IEEE Computer Society. 2018 IEEE/CVF Conference on computer vision and pattern recognition; 2018 June 18–23; Salt Lake City, USA. Los Alamitos: IEEE; 2018. p. 4510–4520. DOI: 10.1109/CVPR.2018.00474.
  23. Prechelt L. Early stopping – but when? In: Orr GB, Müller K-R, editors. Neural Networks: tricks of the trade. Berlin: Springer; 1998. p. 55–69.
  24. Goyal P, Dollar P, Girshick R, Noordhuis P, Wesolowski L, Kyrola A, et al. Accurate, large minibatch SGD: training imagenet in 1 hour. arXiv:1706.02677 [Preprint]. 2018 [cited 29.01.2021]: [12 p.]. Available from: https://arxiv.org/abs/1706.02677.

Загрузки

Дополнительные файлы

Опубликован

2021-08-05

Выпуск

№ 2 (2021): Журнал Белорусского государственного университета. Математика. Информатика

Раздел

Информатика, вычислительная техника и управление

Лицензия

Авторы, публикующиеся в данном журнале, соглашаются со следующим:

  1. Авторы сохраняют за собой авторские права на работу и предоставляют журналу право первой публикации работы на условиях лицензии Creative Commons Attribution-NonCommercial. 4.0 International (CC BY-NC 4.0).
  2. Авторы сохраняют право заключать отдельные контрактные договоренности, касающиеся неэксклюзивного распространения версии работы в опубликованном здесь виде (например, размещение ее в институтском хранилище, публикацию в книге) со ссылкой на ее оригинальную публикацию в этом журнале.
  3. Авторы имеют право размещать их работу в интернете (например, в институтском хранилище или на персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу. (См. The Effect of Open Access).

Как цитировать

[1]
Марушко, Е.Е. и др. 2021. Идентификация объектов земной поверхности на основе ансамблей сверточных нейронных сетей. Журнал Белорусского государственного университета. Математика. Информатика. 2 (авг. 2021), 114–123. DOI:https://doi.org/10.33581/2520-6508-2021-2-114-123.