Автоматическая настройка операции пулинга в сверточных нейронных сетях для классификации угольных пород
О.А. Козлова1, В.В. Китов1, 2
1 Московский государственный университет имени М.В. Ломоносова, г. Москва, Российская Федерация
2 Российский экономический университет имени Г.В. Плеханова, г. Москва, Российская Федерация
Горная Промышленность №6 / 2024 стр. 125-134
Резюме: Сверточные нейронные сети автоматизируют задачи обработки изображений, такие как классификация, сегментация, обнаружение объектов, перенос стиля и т. д. Эти сети активно применяются в угольной промышленности для автоматической классификации угольных пород с высокой точностью на основе необработанных изображений. Точная классификация угольных пород важна для оценки качества угля, оптимизации процессов его добычи, обогащения и переработки. Основными математическими операциями сверточных сетей являются свертка и пулинг. В статье рассматривается обобщение операции пулинга. Обычно тип пулинга задается заранее некоторой агрегирующей операцией – усреднением (average pooling) или взятием максимума (max pooling). Размер агрегируемой области также задается заранее. Тип пулинга и размер агрегируемой области существенно влияют на качество обработки изображений угольных пород. В статье предложено несколько параметрических обобщений операции пулинга, которые охватывают average и max pooling как частные случаи. Также для max pooling предложено параметрическое обобщение, позволяющее варьировать размер области агрегации. Параметры предложенных обобщений пулинга обучаются автоматически вместе с остальными весами сети.
Ключевые слова: обобщение пулинга, автонастраиваемый пулинг, поиск нейронной архитектуры, классификация изображений, угольные породы, угольная промышленность
Благодарности: Работа выполнена в рамках государственного задания в сфере научной деятельности Министерства науки и высшего образования РФ, проект «Модели, методы и алгоритмы искусственного интеллекта в задачах экономики для анализа и переноса стиля многомерных наборов данных, прогнозирования временных рядов и построения рекомендательных систем», грант № FSSW-2023-0004.
Для цитирования: Козлова О.А., Китов В.В. Автоматическая настройка операции пулинга в сверточных нейронных сетях для классификации угольных пород. Горная промышленность. 2024;(6):125–134. https://doi.org/10.30686/1609-9192-2024-6-125-134
Информация о статье
Поступила в редакцию: 19.10.2024
Поступила после рецензирования: 27.11.2024
Принята к публикации: 04.12.2024
Информация об авторах
Козлова Ольга Александровна – инженер-программист, Московский государственный университет имени М.В. Ломоносова, г. Москва, Российская Федерация; https://orcid.org/0009-0002-8271-4578; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.
Китов Виктор Владимирович – кандидат физико-математических наук, старший научный сотрудник, Российский экономический университет имени Г.В. Плеханова; доцент, Московский государственный университет имени М.В. Ломоносова, г. Москва, Российская Федерация; https://orcid.org/0000-0002-3198-5792; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.
Список литературы
1. Nesteruk S., Agafonova J., Pavlov I., Gerasimov M., Latyshev N., Dimitrov D. et al. MineralImage5k: A benchmark for zeroshot raw mineral visual recognition and description. Computers & Geosciences. 2023;178:105414. https://doi.org/10.1016/j.cageo.2023.105414
2. Ranzato M.A., Boureau Y.-L., LeCun Y. Sparse feature learning for deep belief networks. In: Advances in Neural Information Processing Systems 20 – Proceedings of the 2007 Conference. Vancouver, Canada: Neural Information Processing Systems; 2008. Available at: https://proceedings.neurips.cc/paper/2007/file/c60d060b946d6dd6145dcbad5c4ccf6f-Paper.pdf (accessed: 21.10.2024).
3. LeCun Y., Boser B., Denker J., Henderson D., Howard R., Hubbard W., Jackel L. Handwritten digit recognition with a backpropagation network. In: Touretzky D. (ed.) Advances in Neural Information Processing Systems (NIPS 1989), Denver, CO (Vol. 2). Morgan Kaufmann; 1990. Available at: https://proceedings.neurips.cc/paper_files/paper/1989/file/53c3bce66e43be4 f209556518c2fcb54-Paper.pdf (accessed: 21.10.2024).
4. Lee C.-Y., Gallagher P.W., Tu Z. Generalizing pooling functions in convolutional neural networks: Mixed, gated, and tree. arXiv preprint arXiv:1509.08985. 10 October 2015. Available at: https://arxiv.org/pdf/1509.08985 (accessed: 21.10.2024).
5. Yu D., Wang H., Chen P., Wei Z. Mixed pooling for convolutional neural networks. In: Miao D., Pedrycz W., Slezak D., Peters G., Hu Q., Wang R. (eds.) Rough Sets and Knowledge Technology. Springer, Cham; 2014, pp. 364–375. https://doi.org/10.1007/978-3-319-11740-9_34
6. Momeny M., Jahanbakhshi A., Jafarnezhad K., Zhang Y.-D. Accurate classification of cherry fruit using deep CNN based on hybrid pooling approach. Postharvest Biology and Technology. 2020;166:111204. https://doi.org/10.1016/j.postharvbio.2020.111204
7. Zhong S., Wen W., Qin J. Mix-pooling strategy for attention mechanism. arXiv preprint arXiv:2208.10322. 22 August 2022. Available at: https://arxiv.org/pdf/2208.10322v1 (accessed: 21.10.2024).
8. Tong Z., Tanaka G. Hybrid pooling for enhancement of generalization ability in deep convolutional neural networks. Neurocomputing. 2019;333:76–85. https://doi.org/10.1016/j.neucom.2018.12.036
9. Sermanet P., Chintala S., LeCun Y. Convolutional neural networks applied to house numbers digit classification. arXiv:1204.3968. 18 April 2012. https://doi.org/10.48550/arXiv.1204.3968
10. Nair V., Hinton G. Rectified linear units improve restricted boltzmann machines. In: Proceedings of the 27th International Conference on Machine Learning, Haifa, Israel, 2010, pp. 807–814. Available at: https://www.cs.toronto.edu/~hinton/absps/reluICML.pdf (accessed: 21.10.2024).
11. Ait Skourt B., El Hassani A., Majda A. Mixed-pooling-dropout for convolutional neural network regularization. Journal of King Saud University – Computer and Information Sciences. 2022;34(8, Part A):4756–4762. https://doi.org/10.1016/j.jksuci.2021.05.001
12. Sun M., Song Z., Jiang X., Pan J., Pang Y. Learning pooling for convolutional neural network. Neurocomputing. 2017;224:96–104. https://doi.org/10.1016/j.neucom.2016.10.049
