Идентификация объектов земной поверхности на основе ансамблей сверточных нейронных сетей

  • Евгений Евгеньевич Марушко Объединенный институт проблем информатики НАН Беларуси, ул. Сурганова, 6, 220012, г. Минск, Беларусь
  • Александр Арсентьевич Дудкин Объединенный институт проблем информатики НАН Беларуси, ул. Сурганова, 6, 220012, г. Минск, Беларусь
  • Сиантао Чен Сианьский институт оптики и точной механики Китайской академии наук, Шэньси, 710119, г. Сиань, Китай

Аннотация

В работе предлагается методика идентификации объектов на изображениях поверхности Земли, основанная на сочетании методов машинного обучения. В качестве исходных моделей рассматриваются различные варианты многослойных сверточных нейронных сетей и машин опорных векторов. Предлагается также гибридная сверточная нейронная сеть, которая комбинирует признаки, выделенные нейронной сетью и экспертами. Оптимальные значения гиперпараметров моделей вычисляются методами сеточного поиска с использованием k-кратной перекрестной проверки. Показана возможность повышения точности идентификации на основе ансамблей указанных моделей нейронных сетей. Эффективность предложенного подхода демонстрируется на примере изображений, полученных радаром с синтезированной апертурой.

Биографии авторов

Евгений Евгеньевич Марушко, Объединенный институт проблем информатики НАН Беларуси, ул. Сурганова, 6, 220012, г. Минск, Беларусь

научный сотрудник лаборатории идентификации систем

Александр Арсентьевич Дудкин, Объединенный институт проблем информатики НАН Беларуси, ул. Сурганова, 6, 220012, г. Минск, Беларусь

доктор технических наук, профессор; заведующий лабораторией идентификации систем.

Сиантао Чен, Сианьский институт оптики и точной механики Китайской академии наук, Шэньси, 710119, г. Сиань, Китай

PhD (signal and information processing); associate professor at the key laboratory of spectral imaging technology

Литература

  1. Kim M, Choi W, Jeon Y, Liu L. A hybrid neural network model for power demand forecasting. Energies. 2019;12(5):931. DOI: 10.3390/en12050931.
  2. Frankel A, Tachida K, Jones R. Prediction of the evolution of the stress field of polycrystals undergoing elastic-plastic deformation with a hybrid neural network model. Machine Learning: Science and Technology. 2020;1(3):035005. DOI: 10.1088/2632-2153/ ab9299.
  3. Liu H, Yang R, Wang T, Zhang L. A hybrid neural network model for short-term wind speed forecasting based on decomposition, multi-learner ensemble, and adaptive multiple error corrections. Renewable Energy. 2021;165:573–594. DOI: 10.1016/j. renene.2020.11.002.
  4. Ma C, Du X, Cao L. Analysis of multi-types of flow features based on hybrid neural network for improving network anomaly detection. IEEE Access. 2019;7:148363–148380. DOI: 10.1109/ACCESS.2019.2946708.
  5. Berkhahn S, Fuchs L, Neuweiler I. An ensemble neural network model for real-time prediction of urban floods. Journal of hydrology. 2019;575:743–754. DOI: 10.1016/j.jhydrol.2019.05.066.
  6. Cheng B, Wu W, Tao D, Mei S, Mao T, Cheng J. Random cropping ensemble neural network for image classification in a robotic arm grasping system. IEEE Transactions on Instrumentation and Measurement. 2020;69(9):6795–6806. DOI: 10.1109/ TIM.2020.2976420.
  7. Large scale visual recognition challenge [Internet; cited 29.01.2021]. Available from: http://image-net.org/challenges/LSVRC/ 2016/results.
  8. LeCun Y, Boser B, Denker JS, Henderson D, Howard RE, Hubbard W, et al. Backpropagation applied to handwritten zip code recognition. Neural computation. 1989;1(4):541–551.
  9. Goodfellow I, Bengio Y, Courville A. Deep Learning. Cambridge: MIT Press; 2016. 781 p.
  10. Parikh D, Polikar R. An ensemble-based incremental learning approach to data fusion. IEEE Transactions on Systems, Man and Cybernetics. Part B: Cybernetics. 2007;37(2):437450. DOI: 10.1109/TSMCB.2006.883873.
  11. Marushko EE, Doudkin AA. Ensembles of neural networks for forecasting of time series of spacecraft telemetry. Optical Memory and Neural Networks. 2017;26(1):47–54. DOI: 10.3103/S1060992X17010064.
  12. Kourentzes N, Barrow D, Crone S. Neural network ensemble operators for time series forecasting. Expert Systems with Applications. 2014;41(9):4235–4244. DOI: 10.1016/j.eswa.2013.12.011.
  13. Vapnik V. The nature of statistical learning theory. 2nd edition. New York: Springer; 1999. 314 p.
  14. Bergstra J, Bengio Y. Random search for hyper-parameter optimization. Machine Learning Research. 2012;13:281305.
  15. Statoil/C-CORE iceberg classifier challenge. Data [Internet; cited 29.01.2021]. Available from: https://www.kaggle.com/c/ statoil-iceberg-classifier-challenge/data.
  16. Kingma DP, Ba J. Adam: a method for stochastic optimization. arXiv:1412.6980. 2017 [cited 29.01.2021]: [15 p.]. Available from: https://arxiv.org/abs/1412.6980.
  17. Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv:1409.1556 [Preprint]. 2015 [cited 29.01.2021]: [14 p.]. Available from: https://arxiv.org/abs/1409.1556.
  18. Chollet F. Xception: deep learning with depthwise separable convolutions. In: IEEE Computer Society. 2017 IEEE Conference on computer vision and pattern recognition (CVPR); 2017 July 21–26; Honolulu, USA. Los Alamitos: IEEE; 2017. p. 1251–1258. DOI: 10.1109/CVPR.2017.195.
  19. He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. In: IEEE Computer Society. Proceedings of the IEEE conference on computer vision and pattern recognition; 2016 June 27–30; Las Vegas, Nevada. Los Alamitos: IEEE; 2016. p. 770–778. DOI: 10.1109/CVPR.2016.90.
  20. Tan M, Le QV. Efficient net: rethinking model scaling for convolutional neural networks. arXiv:1905.11946 [Preprint]. 2020 [cited 29.01.2021]: [11 p.]. Available from: https://arxiv.org/abs/1905.11946.
  21. Huang G, Liu Z, Van Der Maaten L, Weinberger KQ. Densely connected convolutional networks. In: IEEE Computer Society. 2017 IEEE Conference on computer vision and pattern recognition (CVPR); 2017 July 21–26; Honolulu, USA. Los Alamitos: IEEE; 2017. p. 2261–2269. DOI: 10.1109/CVPR.2017.243.
  22. Sandler M, Howard A, Zhu M, Zhmoginov A, Chen LC. MobilenetV2: inverted residuals and linear bottlenecks. In: IEEE Computer Society. 2018 IEEE/CVF Conference on computer vision and pattern recognition; 2018 June 18–23; Salt Lake City, USA. Los Alamitos: IEEE; 2018. p. 4510–4520. DOI: 10.1109/CVPR.2018.00474.
  23. Prechelt L. Early stopping – but when? In: Orr GB, Müller K-R, editors. Neural Networks: tricks of the trade. Berlin: Springer; 1998. p. 55–69.
  24. Goyal P, Dollar P, Girshick R, Noordhuis P, Wesolowski L, Kyrola A, et al. Accurate, large minibatch SGD: training imagenet in 1 hour. arXiv:1706.02677 [Preprint]. 2018 [cited 29.01.2021]: [12 p.]. Available from: https://arxiv.org/abs/1706.02677.
Опубликован
2021-08-05
Ключевые слова: сверточная нейронная сеть, машина опорных векторов, ансамбль нейронных сетей, изображение поверхности Земли, дистанционное зондирование, радар с синтезированной апертурой
Поддерживающие организации Работа частично поддержана Белорусским фондом фундаментальных исследований и национальным фондом естественных наук Китая (проект № Ф20-017).
Как цитировать
Марушко, Е. Е., Дудкин, А. А., & Сиантао Чен. (2021). Идентификация объектов земной поверхности на основе ансамблей сверточных нейронных сетей. Журнал Белорусского государственного университета. Математика. Информатика, 2, 114-123. https://doi.org/10.33581/2520-6508-2021-2-114-123
Раздел
Информатика, вычислительная техника и управление