Анализ влияния освещенности на качество распознавания лазерной сетки машинным зрением
П.В. Черкасов1, 2, Я.В. Попинако1, 2, М.С. Никитенко1, 2
1 Федеральный исследовательский центр угля и углехимии Сибирского отделения Российской академии наук, г. Кемерово, Российская Федерация
2 Кузбасский государственный технический университет им. Т.Ф. Горбачева, г. Кемерово, Российская Федерация
Горная Промышленность №5S / 2024 стр.110-115
Резюме: Основной целью исследования являлся анализ качества распознавания лазерной сетки в различных диапазонах значений освещённости для применения в промышленных условиях подземных горных выработок, открытых горных работ и на производственных площадках. В частности, устанавливались зависимости влияния уровня освещённости на качество распознавания сетки световых маркеров системой машинного зрения. Объектами исследования являлись видеоизображения, а предметом – алгоритмы их обработки системой машинного зрения и значения параметра их качественного распознавания. В результате работы авторами выделены условия наиболее качественного распознавания световых маркеров в виде лазерной сетки, проецируемой на поверхность. В соответствии с разработанной методикой получен результат серии экспериментов в лабораторных условиях с различной дискретностью значений освещённости. Расчет показателя качественного распознавания при сравнении проекции сетки с шаблоном производился посредством поиска групп пикселей, наиболее схожих с указанным объектом, и выделения их с указанием соответствия в процентах. В случае недостаточности значения параметра группы пикселей применялись операции эрозии и дилатации, позволяющие изменить параметры соседствующих пикселей до значений, обеспечивающих установление геометрического соответствия. Получены результаты в виде зависимостей показателя качественного распознавания ячеек сетки световых маркеров от освещённости в лабораторных условиях. Сделан вывод об оптимальном диапазоне освещённости, при котором качество распознавания сетки световых маркеров стабильное. Полученные результаты могут применяться в промышленности, в том числе в горнодобывающей отрасли при измерении объёма объектов системой машинного зрения, дополненной лазерной сеткой световых маркеров.
Ключевые слова: машинное зрение, распознавание образов, геометрическое соответствие, световой маркер, лазерная сетка, управляемый выпуск, выпуск угля подкровельной толщи, измерение объёма
Благодарности: Работа выполнена в рамках государственного задания ФГБНУ «Федеральный исследовательский центр угля и углехимии Сибирского отделения Российской академии наук» проект FWEZ-2024-0025 «Разработка научных основ создания автономных и автоматизированных горных машин, оборудования, технических и управляющих систем на базе перспективных цифровых и роботизированных технологий» (рег. №1023033000581-6).
Для цитирования: Черкасов П.В., Попинако Я.В., Никитенко М.С. Анализ влияния освещенности на качество распознавания лазерной сетки машинным зрением. Горная промышленность. 2024;(5S):110–115. https://doi.org/10.30686/1609-9192-2024-5S-110-115
Информация о статье
Поступила в редакцию: 19.08.2024
Поступила после рецензирования: 02.10.2024
Принята к публикации: 09.10.2024
Информация об авторах
Черкасов Павел Вадимович – инженер, Федеральный исследовательский центр угля и углехимии Сибирского отделения Российской академии наук, г. Кемерово, Российская Федерация; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.
Попинако Ярослав Владимирович – инженер, Федеральный исследовательский центр угля и углехимии Сибирского отделения Российской академии наук, г. Кемерово, Российская Федерация; https://orcid.org/0009-0007-2788-6074; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.
Никитенко Михаил Сергеевич – кандидат технических наук, заведующий лабораторией перспективных методов управления горнотехническими системами, Федеральный исследовательский центр угля и углехимии Сибирского отделения Российской академии наук, г. Кемерово, Российская Федерация; https://orcid.org/0000-0001-8752-1332; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.
Введение
Методы машинного зрения активно начинают использоваться в горнодобывающей промышленности [1–3] для решения целого спектра задач [4; 5] как при открытой, так и подземной отработке месторождений. Кроме того, ранее авторами были описаны перспективные направления применения систем машинного зрения, дополненные световыми маркерами. В частности, при ведении открытых горных работ применение методов машинного зрения перспективно для распознавания траектории движения и состояния дорожного покрытия перед автономными транспортными средствами [6]. В условиях подземной отработки – для оценки объёма горной массы [7; 8], поскольку в связи с исчерпаемостью легкодоступных угольных пластовых месторождений возрастает актуальность отработки мощных пластов. В работах [9; 10] показана перспективность технологии отработки мощных пластов с выпуском на забойный конвейер, а также предложена конструкция секции крепи с управляемым выпуском [11; 12]. Такая технология и конструкция крепи предполагает высокую степень автоматизации и минимальное присутствие человека в забое. Для поддержания требуемой производительности группы секций предложено ввести в систему управления секцией автоматизированный контроль объёма выпускаемой горной массы на забойный конвейер [13; 14], для чего ранее авторами был предложен способ измерения объёма объектов без физического контакта с ними [7; 8], основанный на работе системы машинного зрения, дополненной лазерными световыми маркерами в виде сетки. В соответствии с разработанным способом оценки объёма и реализующим устройством генераторы лазерных линий проецируют на поверхность исследуемого объекта контрастную сетку.
С использованием камеры машинного зрения определяются высоты объекта в точках пересечения лазерных линий, что впоследствии позволяет создать двумерный массив данных, на основе которых определяется объём объекта.
Рис. 1 Снижение качества распознавания проекции генератора линии 7 МВт с длиной волны 635 нм при падении уровня освещенности
Fig. 1 Deterioration in the quality of shape detection of the 7 MW laser projected line with the wavelength of 635 nm when the illumination intensity drops
Поскольку повышение уровня освещенности снижает качество распознавания спроецированной лазерной линии в помещении при дневном освещении [6], как показано на примере лазера 7 МВт красного цвета с длиной волны 635 нм (рис. 1), очевидно, что применение совокупности таких лазерных маркеров или разность в условиях применения внутри зданий и сооружений промышленного назначения требует проведения натурных измерений параметров качественного распознавания изображения их проекций.
Материалы и методы
В соответствии с поставленной задачей разработана методика распознавания проекции сетки световых маркеров для действующих нормативных диапазонов освещённости в промышленных условиях. Техническая реализация заключается в следующем. Изображение лазерной проекции на поверхности принимается камерой, оцифровывается и передается в программу обработки. В цифровом виде оцифрованное изображение представляет собой двумерную матрицу, ячейки (пиксели), каждый из которых несёт информацию о цвете, значении яркости пикселя, координатах расположения. После передачи на ЭВМ изображение обрабатывается функциями СМЗ, в результате чего могут быть изменены параметры цвета (в случае цветного изображения), а также измерены яркость пикселя (в случае изображения в оттенках серого) или яркости пикселей для каждой цветовой составляющей. Далее на основе анализа координат пикселей и их взаимного расположения может устанавливаться геометрическое соответствие заданному объекту. В данном исследовании заданным объектом является заранее созданный шаблон сетки в таких условиях, что геометрическое соответствие приближено к 100%.
В соответствии с функцией СМЗ производится сравнение с шаблоном посредством поиска групп пикселей, наиболее схожих с указанным объектом, и выделение их с указанием соответствия в процентах (и при полном соответствии этот показатель равен 100%). В серии проведенных экспериментов шаблон является сеткой, состоящей из 112 ячеек. Показатель качества распознавания Q при сравнении проекции сетки с шаблоном выражен в процентах от полного региона интереса (Region of Interest – ROI) и принят для обозначения как ROI.
Проведение испытаний по определению влияния освещённости на качественное распознавание лазерной сетки машинным зрением в граничных условиях для промышленных площадок (по ГОСТ Р 55710–2013) включало следующие этапы:
1. Установить уровень освещённости 0 лк для создания шаблона.
2. Удостовериться в перпендикулярности измерительного участка относительно оптической оси камеры и обеспечить его центровку.
3. Зафиксировать камерой машинного зрения (Basler acA3088-57um) изображение проекции лазерной сетки на измерительном участке и передать изображение на вычислительное устройство.
4. Создать шаблон для дальнейшего выявления геометрического соответствия.
5. Изменять освещённость с определенным шагом дискретизации.
6. Произвести видеофиксацию изображения проекции сетки с установленным уровнем освещённости.
7. Определить регион интереса (ROI) на полученном изображении.
8. Выявить соответствие проекции сетки шаблону в изменяющихся условиях освещённости.
9. Определить зависимости влияния освещённости на распознавание геометрического соответствия шаблону лазерной сетки в заданных диапазонах значений.
Обнаружение геометрического соответствия производилось в несколько этапов. Первый этап – выделение прямоугольной области региона интереса (ROI) проекции сетки лазерных линий, длина которой составила 1400 пикселей, а высота – 1200 пикселей. Такие размеры региона интереса определены по результатам серии лабораторных измерений как необходимые и достаточные для дальнейшего применения. Далее в границах определенного региона интереса создан шаблон проекции сетки лазерных линий при нулевом уровне освещённости (показан на рис. 2), после чего он распознавался посредством машинного зрения.
Рис. 2 Шаблон для обнаружения геометрического соответствия лазерной сетки при нулевом значении освещенности
Fig. 2 A template for the laser grid shape detection in case of zero-level illumination intensity
Для достижения максимального качества распознавания геометрического соответствия применялись функции математической морфологии структурирования соседних пикселей (эрозии и дилатации).
Качество распознавания характеризовалось процентным значением соответствия шаблону и было обозначено как процент распознавания Q%ROI.
Результаты и обсуждение
Применение предложенного способа для решения задачи оценки объёма горной массы на питателе секции крепи [7] имеет нормативно установленные условия применения в соответствии с приказом Ростехнадзора от 08.12.2020 №505 «Правила безопасности при ведении горных работ и переработке твердых полезных ископаемых» 1 и ГОСТ Р 55733–2013 «Освещение подземных горных выработок» 2. По данным источников на участках, где должен производиться выпуск угля, граничные значения освещённости составляют от 2 до 15 лк.
В представленных пределах проведена серия экспериментов в лабораторных условиях, где уровень освещённости устанавливался с использованием источников света на основе светодиодов, при этом не использовался дневной свет, а дискретность значений освещённости составляла 2 лк в диапазоне значений 0…16 лк. Световой поток являлся равномерным и непрерывным, стробоскопический эффект отсутствовал, что соответствует регламенту нормативной документации ГОСТ Р 55733–2013 «Освещение подземных горных выработок».
Рис. 3 Изображения лазерной сетки, полученные с камеры при освещённости в диапазоне значений 2…16 лк
Fig. 3 Laser grid images obtained with a camera within the illumination intensity range from 2 to 16 lx
Исходные получаемые камерой изображения показаны на рис. 3, где видно, что визуальная разница качества распознавания отсутствует. Тем не менее значения качественного показателя распознавания ячеек сетки Q%ROI снижаются при увеличении уровня освещённости, но незначительно, что можно увидеть на графике (рис. 4). При этом функция, описывающая снижение, принимает линейный характер в установленном диапазоне значений освещённости.
Рис. 4 Зависимость значений процента распознавания ячеек сетки Q%ROI от освещённости в диапазоне 0…16 лк
Fig. 4 The dependence of the Q%ROI shape detection quality on the illumination intensity within the range from 0 to 16 lx
Полученные результаты позволили сделать вывод, что в условиях освещённости, соответствующих установленным в горных выработках, её влияние на качество распознавания геометрического соответствия не является значимым, поскольку изменение в уровне качества распознавания при сопоставлении шаблона составило менее 1%.
Таким образом, в условиях горных выработок качественное распознавание световых маркеров, генерируемых 7 мВт генераторами линии красного цвета с длиной волны 635 нм системой машинного зрения, обеспечивается во всем диапазоне нормативных значений освещённости. Далее исследуемый диапазон значений освещённости был расширен.
Рис. 5 Изображения лазерной сетки, полученные с камеры освещённости в диапазоне значений 0…550 лк
Fig. 5 Laser grid images obtained with a camera within the illumination intensity range from 0 to 550 lx
Для промышленных объектов и производственных помещений по ГОСТ Р 55710–2013 нормы освещённости внутри зданий составляют не более 500 лк (кроме объектов здравоохранения). В представленных пределах также проведены серии экспериментов. Примеры исходных получаемых камерой изображений с дискретностью освещённости 50 лк показаны на рис. 5. Зависимость значений качественного показателя распознавания ячеек сетки Q%ROI от освещённости в диапазоне 0…550 лк по результатам сравнения шаблона с изображением системой машинного зрения представлена на рис. 6.
Рис. 6 Зависимость значений процента распознавания ячеек сетки от освещённости в диапазоне 0…550 лк
Fig. 6 The dependence of the Q%ROI shape detection quality on the illumination intensity within the range from 0 to 550 lx
Результаты позволили выделить условия наиболее качественного распознавания световых маркеров в виде лазерной сетки, проецируемой на объект. По полученным данным сделан вывод, что линейность функции, описывающей снижение качественного показателя распознавания ячеек сетки Q%ROI, обеспечивается в диапазоне значений освещённости 0…200 лк. В диапазоне значений освещённости 0…300 лк обеспечивается максимально качественное распознавание сетки со значениями Q%ROI от 90,6% до 97,5 %. При увеличении освещённости выше 300 лк качество распознавания сетки значительно менее стабильное, таким образом, применение предложенного способа применения машинного зрения в комбинации с накладываемой сеткой световых маркеров будет иметь максимальную ожидаемую эффективность применения для крытых производственных помещений и площадок и помещений с освещённостью до 300 лк.
Заключение
В результате проведённых исследований на основе разработанной методики распознавания машинным зрением проекции сетки лазерных линий при различных уровнях освещённости определено, что в задаче распознавания сетки световых маркеров, дополняющих видеосцену в условиях промышленной площадки, наиболее стабильное и высокое качество распознавания достигается при освещённости до 300 лк. В шахтных условиях, где производится выпуск угля, пороговые значения освещённости 0…16 лк, существенно не влияют на качество распознавания 7 мВт генераторов линии с длиной волны 635 нм и могут успешно применяться в составе систем машинного зрения.
Список литературы
1. Ali D., Frimpong S. Artificial intelligence, machine learning and process automation: existing knowledge frontier and way forward for mining sector. Artificial Intelligence Review. 2020;53:6025–6042. https://doi.org/10.1007/s10462-020-09841-6
2. Hyder Z., Siau K., Nah F. Artificial intelligence, machine learning, and autonomous technologies in mining industry. Journal of Database Management. 2019;30(2):67–79. http://doi.org/10.4018/JDM.2019040104
3. Barnewold L., Lottermoser B.G. Identification of digital technologies and digitalisation trends in the mining industry. International Journal of Mining Science and Technology. 2020;30(6):747–757. https://doi.org/10.1016/j.ijmst.2020.07.003
4. Калашников В.А., Соловьев В.И. Приложения компьютерного зрения в горнодобывающей промышленности. Прикладная информатика. 2023;18(1):4–21. https://doi.org/10.37791/2687-0649-2023-18-1-4-21 Kalashnikov V.A., Soloviev V.I. Applications of computer vision in the mining industry. Journal of Applied Informatics. 2023;18(1):4–21. (In Russ.) https://doi.org/10.37791/2687-0649-2023-18-1-4-21
5 Huang M.Q., Ninić J., Zhang Q.B. BIM, machine learning and computer vision techniques in underground construction: Current status and future perspectives. Tunnelling and Underground Space Technology. 2021;108:103677. https://doi.org/10.1016/j.tust.2020.103677
6. Nikitenko M.S., Khudonogov D.Yu., Popinako Ya.V., Kizilov S.A. Determining the route and roadway condition in front of autonomous vehicle. Proceedings of the Third International Conference on Digital Technologies, Optics, and Materials Science (DTIEE 2024). Vol. 13217. 2024, 1321713. https://doi.org/10.1117/12.3036935
7. Кизилов С.А., Баловнев Е.А., Черкасов П.В., Никитенко М.С., Худоногов Д.Ю., Попинако Я.В. Подходы к автоматизированной оценке объема и состава горной массы в процессе выпуска угля на забойный конвейер. В кн.: Системы автоматизации (в образовании, науке и производстве) AS’2022: труды Всерос. науч.-практ. конф., г. Новокузнецк, 15–16 дек. 2022 г. Новокузнецк: СибГИУ; 2022. С. 20–25.
8. Никитенко М.С., Кизилов С.А., Захаров Ю.Н., Худоногов Д.Ю., Игнатова А.Ю. Измерение производительности питателя при выпуске угля из подкровельной толщи на основе технологии машинного зрения. Горные науки и технологии. 2022;7(4):264–273. https://doi.org/10.17073/2500-0632-2022-09-22 Nikitenko M.S., Kizilov S.A., Zakharov Yu.N., Khudonogov D.Yu., Ignatova A.Yu. Measurement of feeder performance during coal discharge from an underroof seam using machine vision. Mining Science and Technology (Russia). 2022;7(4):264–273. https://doi.org/10.17073/2500-0632-2022-09-22
9. Стародубов А.Н., Зиновьев В.В., Клишин В.И., Крамаренко В.А. Применение имитационного моделирования для исследования режимов выпуска угля подкровельной толщи. В кн.: Имитационное моделирование. Теория и практика: материалы 9-й Всерос. науч.-практ. конф. по имитационному моделированию и его применению в науке и промышленности, г. Екатеринбург, 16–18 окт. 2019 г. Екатеринбург: УрГПУ; 2019. С. 540–547.
10. Клишин В.И., Клишин С.В. Состояние и направление развития технологии разработки мощных угольных пластов механизированными крепями с выпуском. Известия Тульского государственного университета. Науки о Земле. 2019;(1):162–174. Klishin V.I., Klishin S.V. Current state and direction of development of thick coal seams exavation technology by powered roof supports with controlled coal discharge. Izvestiya Tul’skogo Gosudarstvennogo Universiteta. Nauki o Zemle. 2019;(1):162– 174. (In Russ.)
11. Клишин В.И., Анферов Б.А., Кузнецова Л.В., Клишин С.В., Худынцев Е.А. Секция механизированной крепи очистного забоя с устройством регулируемого выпуска угля. Патент РФ №2021131401, 04.04.2022.
12. Клишин В.И., Худынцев Е.А. Создание механизированных комплексов с выпуском для подземной разработки мощных угольных пластов. Вестник Кузбасского государственного технического университета. 2022;(6):96–106. https://doi.org/10.26730/1999-4125-2022-6-96-106 Klishin V.I., Khudyntsev Ye.A. Desining mechanized support complexes with coal release for underground development of thick coal seams. Bulletin of the Kuzbass State Technical University. 2022;(6):96–106. https://doi.org/10.26730/1999-4125-2022-6-96-106
13. Клишин В.И., Анферов Б.А., Кузнецова Л.В. Направления совершенствования разработки мощных пластов с выпуском угля подкровельной толщи. В кн.: Инновации в топливно-энергетическом комплексе и машиностроении (ТЭК-2017): материалы Междунар. науч.-практ. конф., г. Кемерово, 18–21 апр. 2021 г. Кемерово: КузГТУ им. Т.Ф. Горбачева; 2017. С. 57–63.
14. Клишин В.И., Шундулиди И.А., Ермаков А.Ю., Соловьев А.С. Технология разработки запасов мощных пологих пластов с выпуском угля. Новосибирск: Наука; 2013. 248 с.
