Идентификация объектов земной поверхности на основе ансамблей сверточных нейронных сетей
Аннотация
В работе предлагается методика идентификации объектов на изображениях поверхности Земли, основанная на сочетании методов машинного обучения. В качестве исходных моделей рассматриваются различные варианты многослойных сверточных нейронных сетей и машин опорных векторов. Предлагается также гибридная сверточная нейронная сеть, которая комбинирует признаки, выделенные нейронной сетью и экспертами. Оптимальные значения гиперпараметров моделей вычисляются методами сеточного поиска с использованием k-кратной перекрестной проверки. Показана возможность повышения точности идентификации на основе ансамблей указанных моделей нейронных сетей. Эффективность предложенного подхода демонстрируется на примере изображений, полученных радаром с синтезированной апертурой.
Литература
- Kim M, Choi W, Jeon Y, Liu L. A hybrid neural network model for power demand forecasting. Energies. 2019;12(5):931. DOI: 10.3390/en12050931.
- Frankel A, Tachida K, Jones R. Prediction of the evolution of the stress field of polycrystals undergoing elastic-plastic deformation with a hybrid neural network model. Machine Learning: Science and Technology. 2020;1(3):035005. DOI: 10.1088/2632-2153/ ab9299.
- Liu H, Yang R, Wang T, Zhang L. A hybrid neural network model for short-term wind speed forecasting based on decomposition, multi-learner ensemble, and adaptive multiple error corrections. Renewable Energy. 2021;165:573–594. DOI: 10.1016/j. renene.2020.11.002.
- Ma C, Du X, Cao L. Analysis of multi-types of flow features based on hybrid neural network for improving network anomaly detection. IEEE Access. 2019;7:148363–148380. DOI: 10.1109/ACCESS.2019.2946708.
- Berkhahn S, Fuchs L, Neuweiler I. An ensemble neural network model for real-time prediction of urban floods. Journal of hydrology. 2019;575:743–754. DOI: 10.1016/j.jhydrol.2019.05.066.
- Cheng B, Wu W, Tao D, Mei S, Mao T, Cheng J. Random cropping ensemble neural network for image classification in a robotic arm grasping system. IEEE Transactions on Instrumentation and Measurement. 2020;69(9):6795–6806. DOI: 10.1109/ TIM.2020.2976420.
- Large scale visual recognition challenge [Internet; cited 29.01.2021]. Available from: http://image-net.org/challenges/LSVRC/ 2016/results.
- LeCun Y, Boser B, Denker JS, Henderson D, Howard RE, Hubbard W, et al. Backpropagation applied to handwritten zip code recognition. Neural computation. 1989;1(4):541–551.
- Goodfellow I, Bengio Y, Courville A. Deep Learning. Cambridge: MIT Press; 2016. 781 p.
- Parikh D, Polikar R. An ensemble-based incremental learning approach to data fusion. IEEE Transactions on Systems, Man and Cybernetics. Part B: Cybernetics. 2007;37(2):437450. DOI: 10.1109/TSMCB.2006.883873.
- Marushko EE, Doudkin AA. Ensembles of neural networks for forecasting of time series of spacecraft telemetry. Optical Memory and Neural Networks. 2017;26(1):47–54. DOI: 10.3103/S1060992X17010064.
- Kourentzes N, Barrow D, Crone S. Neural network ensemble operators for time series forecasting. Expert Systems with Applications. 2014;41(9):4235–4244. DOI: 10.1016/j.eswa.2013.12.011.
- Vapnik V. The nature of statistical learning theory. 2nd edition. New York: Springer; 1999. 314 p.
- Bergstra J, Bengio Y. Random search for hyper-parameter optimization. Machine Learning Research. 2012;13:281305.
- Statoil/C-CORE iceberg classifier challenge. Data [Internet; cited 29.01.2021]. Available from: https://www.kaggle.com/c/ statoil-iceberg-classifier-challenge/data.
- Kingma DP, Ba J. Adam: a method for stochastic optimization. arXiv:1412.6980. 2017 [cited 29.01.2021]: [15 p.]. Available from: https://arxiv.org/abs/1412.6980.
- Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv:1409.1556 [Preprint]. 2015 [cited 29.01.2021]: [14 p.]. Available from: https://arxiv.org/abs/1409.1556.
- Chollet F. Xception: deep learning with depthwise separable convolutions. In: IEEE Computer Society. 2017 IEEE Conference on computer vision and pattern recognition (CVPR); 2017 July 21–26; Honolulu, USA. Los Alamitos: IEEE; 2017. p. 1251–1258. DOI: 10.1109/CVPR.2017.195.
- He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. In: IEEE Computer Society. Proceedings of the IEEE conference on computer vision and pattern recognition; 2016 June 27–30; Las Vegas, Nevada. Los Alamitos: IEEE; 2016. p. 770–778. DOI: 10.1109/CVPR.2016.90.
- Tan M, Le QV. Efficient net: rethinking model scaling for convolutional neural networks. arXiv:1905.11946 [Preprint]. 2020 [cited 29.01.2021]: [11 p.]. Available from: https://arxiv.org/abs/1905.11946.
- Huang G, Liu Z, Van Der Maaten L, Weinberger KQ. Densely connected convolutional networks. In: IEEE Computer Society. 2017 IEEE Conference on computer vision and pattern recognition (CVPR); 2017 July 21–26; Honolulu, USA. Los Alamitos: IEEE; 2017. p. 2261–2269. DOI: 10.1109/CVPR.2017.243.
- Sandler M, Howard A, Zhu M, Zhmoginov A, Chen LC. MobilenetV2: inverted residuals and linear bottlenecks. In: IEEE Computer Society. 2018 IEEE/CVF Conference on computer vision and pattern recognition; 2018 June 18–23; Salt Lake City, USA. Los Alamitos: IEEE; 2018. p. 4510–4520. DOI: 10.1109/CVPR.2018.00474.
- Prechelt L. Early stopping – but when? In: Orr GB, Müller K-R, editors. Neural Networks: tricks of the trade. Berlin: Springer; 1998. p. 55–69.
- Goyal P, Dollar P, Girshick R, Noordhuis P, Wesolowski L, Kyrola A, et al. Accurate, large minibatch SGD: training imagenet in 1 hour. arXiv:1706.02677 [Preprint]. 2018 [cited 29.01.2021]: [12 p.]. Available from: https://arxiv.org/abs/1706.02677.
Copyright (c) 2021 Журнал Белорусского государственного университета. Математика. Информатика
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial» («Атрибуция — Некоммерческое использование») 4.0 Всемирная.
Авторы, публикующиеся в данном журнале, соглашаются со следующим:
- Авторы сохраняют за собой авторские права на работу и предоставляют журналу право первой публикации работы на условиях лицензии Creative Commons Attribution-NonCommercial. 4.0 International (CC BY-NC 4.0).
- Авторы сохраняют право заключать отдельные контрактные договоренности, касающиеся неэксклюзивного распространения версии работы в опубликованном здесь виде (например, размещение ее в институтском хранилище, публикацию в книге) со ссылкой на ее оригинальную публикацию в этом журнале.
- Авторы имеют право размещать их работу в интернете (например, в институтском хранилище или на персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу. (См. The Effect of Open Access).