Анализ отклонений дорожного покрытия при движении автономного транспортного средства

Д.Ю. Худоногов, М.С. Никитенко , С.А. Кизилов
Федеральный исследовательский центр угля и углехимии Сибирского отделения Российской академии наук, г. Кемерово, Российская Федерация
Горная Промышленность №5S / 2024 стр.54-58

Резюме: Основной целью исследования являлось решение задачи оценки состояния дорожного покрытия в режиме реального времени при движении автономного транспортного средства на основе применения методов машинного зрения при дополнении видеосцены световыми маркерами. Объектами исследования являлись видеоизображения системы машинного зрения, а предметом – параметры и алгоритмы их обработки. Показаны результаты оценки отклонения поверхности дорожного покрытия от горизонтального уровня на основе обработки видеоизображений характерных участков масштабного макета карьерной автодороги в лабораторных условиях. Для каждого из характерных участков, таких как начала и окончания продольных и поперечных уклонов, приведены конкретные параметры, по которым системой машинного зрения происходит обработка изменений геометрии проекций световых маркеров. В качестве основных параметров применялись значения периметра образуемых геометрических фигур из проецируемых линий, значения их кривизны и степень их соответствия шаблонам. Для вычисления периметра использовался алгоритм определения углов Ши-Томаси (Shi-Tomasi). Представлены структурная схема и описание функций програм-много модуля анализа отклонений дорожного покрытия. Работа программного модуля обеспечивается параллельным выполнением функций машинного зрения. Полученные результаты в виде программного обеспечения и лежащих в его основе алгоритмов могут применяться при решении промышленных задач управления движением автономными транспортными средствами.

Ключевые слова: автономное транспортное средство, система управления, машинное зрение, световой маркер, распознавание образов, алгоритмы управления, программный модуль, Ши-Томаси

Благодарности: Исследование выполнено при финансовой поддержке Министерства науки и высшего образования Российской Федерации в рамках комплексной научно-технической программы полного инновационного цикла «Разработка и внедрение комплекса технологий в областях разведки и добычи полезных ископаемых, обеспечения промышленной безопасности, биоремедиации, создания новых продуктов глубокой переработки из угольного сырья при последовательном снижении экологической нагрузки на окружающую среду и рисков для жизни населения», утвержденной Распоряжением Правительства Российской Федерации от 11.05.2022 г. №1144-р (Соглашение от 28.09.2022 №07515-2022-1199).

Для цитирования: Худоногов Д.Ю., Никитенко М.С., Кизилов С.А. Анализ отклонений дорожного покрытия при движении автономного транспортного средства. Горная промышленность. 2024;(5S):54–58. https://doi.org/10.30686/1609-91922024-5S-54-58

Информация о статье

Поступила в редакцию: 04.08.2024

Поступила после рецензирования: 02.10.2024

Принята к публикации: 08.10.2024

Информация об авторах

Худоногов Данила Юрьевич – научный сотрудник, Федеральный исследовательский центр угля и углехимии Сибирского отделения Российской академии наук, г. Кемерово, Российская Федерация; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.

Никитенко Михаил Сергеевич – кандидат технических наук, заведующий лабораторией, Федеральный исследовательский центр угля и углехимии Сибирского отделения Российской академии наук, г. Кемерово, Российская Федерация; https://orcid.org/0000-0001-8752-1332; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.

Кизилов Сергей Александрович – кандидат технических наук, научный сотрудник, Федеральный исследовательский центр угля и углехимии Сибирского отделения Российской академии наук, г. Кемерово, Российская Федерация; https://orcid.org/0000-0003-2554-1383; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.

Введение

Разработка технологий автономной перевозки грузов становится более чем актуальной в мире и имеет значительные перспективы в свете прогноза роста их рынка сбыта в ближайшие несколько лет [1–3]. При этом, следует отметить, что современные интеллектуальные системы управления автономными транспортными средствами (АТС) имеют ограниченный набор способов реагирования на обнаруживаемые ими нештатные дорожные ситуации [4]. Авторами ранее предлагалось для оценки дорожной ситуации упростить работу системы машинного зрения (СМЗ), основанную на распознавании видеоизображения [1]. СМЗ дополняется устройствами активной подсветки пространства перед видеокамерой – проекторами световых маркеров на поверхность дорожного полотна.

Алгоритмически система машинного зрения выделяет из общей сцены только контрастные световые маркеры и обрабатывает изменение их формы. Проекция световых маркеров на дорожное полотно является объектом с заранее известными характеристиками (расстояние между маркерами, цвет, форма, расстояние до камеры, расстояние до крайних точек транспортного средства). Световой маркер при попадании на поверхность деформируется, отображая форму поверхности, на которую проецировался [1]. Таким образом, средствами СМЗ возможно реализовать распознавание состояния дорожного покрытия перед автономным транспортным средством.

Материалы и методы

Решения задач оценки состояния дорожного покрытия в режиме реального времени в настоящее время получают все большее распространение [5–7] и наиболее часто решаются с применением методов машинного зрения [8–10].

Слежение за состоянием дорожного покрытия перед АТС в процессе движения, в том числе при подъезде под погрузку, в рамках поставленной исследовательской задачи подразумевает работу комплекса аппаратных и программных средств и потоковую обработку данных, в результате которых возможно оценить отклонения поверхности элементов дорожного покрытия от горизонтального уровня, такие как продольные и поперечные уклоны. Способ распознавания состояния дорожного покрытия перед автономным транспортным средством описан в [11], где обнаружение основано на методах распознавания СМЗ геометрического искажения проекции сетки лазерных маркеров, в частности, кривизны линий проекций и изменения периметра проецируемых геометрических фигур на поверхности дорожного полотна.

Для установления критериев и параметров анализа отклонений дорожного покрытия программно-аппаратными средствами СМЗ в лабораторных условиях на масштабном макете карьерной автодороги были проведены натурные исследования определения искажения проекции линий световых маркеров в режиме дистанционного управления масштабной моделью АТС (рис. 1). Во время движения АТС были обработаны видеоизображения камеры СМЗ при прохождении через определенные участки макета автодороги, принятые в качестве характерных [12] для анализа отклонений, в частности, участки ровной поверхности, начала и завершения продольных уклонов, начала и завершения поперечных уклонов.

Рис. 1 Внешний вид масштабной модели АТС с системой машинного зрения

Fig. 1 A scale model of the autonomous vehicle with the machine vision system

На таких участках проводилась многократная серия экспериментов, в результате которых происходила фиксация проекции световых маркеров СМЗ. Дальнейшая обработка изображений видеосцен показала, что на выбранных участках наблюдается изменение расположения проекции световых маркеров, которое возможно оценить при помощи характерных для участка геометрических свойств проекции: периметр образуемых геометрических фигур, проецируемых линий и кривизну линий. Для вычисления периметра использовался алгоритм определения углов Shi-Tomasi [13], при помощи которого на видеосцене выполнялось распознавание точек линий (горизонтальных и вертикальных) и углов их пересечения. Дальнейшее вычисление периметра геометрических фигур [14] позволило получить числовое значение, которое характерно для участков дорожного полотна. Участки начала продольного подъема и начала спуска с участка с поперечным уклоном определялись методом МЗ определения кривизны контура линии проекции (Contour Analysis) [15]. Участок начала продольного уклона определялся процентом соответствия шаблону.

Результаты и обсуждение

Результаты обработки СМЗ видеосцен участков дорожного полотна приводятся на рис. 2. Отклонения дорожного покрытия определяются характерными участками полотна и параметрами обработки изменений геометрии проекций световых маркеров.

Рис. 2 Результаты анализа отклонений дорожного покрытия перед автономным транспортным средством и параметры их определения: A – ровное покрытие (прямолинейный участок): периметр сетки S1 (9118, 96 пикс) на ровных участках покрытия дорожного полотна; B – начало продольного уклона (подъема): кривизна линий проекции снизу вверх, определяющая начало подъема; C – начало продольного уклона (спуска): распознавание образов и геометрическая форма линии соответствует шаблону; D – начало подъема на участок с поперечным уклоном: периметр сетки S2 (18307 пикс) на участке продольного уклона; E – окончание подъема на участок с поперечным уклоном: периметр S3 (8984,56 пикс) на участке продольного уклона сопоставим со значением периметра S1 для ровного участка дорожного полотна; F – начало участка с поперечным уклоном: периметр сетки S4 (12778,8 пикс) на участке поперечного подъёма; G – окончание участка с поперечным уклоном: периметр сетки S5 (29192,46 пикс) на участке окончания поперечного подъёма; H – начало спуска с участка с поперечным уклоном: кривизна линий проекции сверху вниз, определяющая начало поперечного уклона подъема; I – окончание спуска с участка с поперечным уклоном: периметр сетки S7 (10947,63 пикс) на участке окончания поперечного уклона сопоставим со значением периметра S1 для ровного участка дорожного полотна

Fig. 2 Results of analyzing the road surface diversion in front of the autonomous vehicle and its determination parameters: A - even surface (rectilinear section): S1 grid perimeter (9118, 96 pix) on even sections of the road surface; B - start of the longitudinal slope (rise): curvature of the projection lines from bottom to top, defining the start of the rise; C - start of the longitudinal slope (descent): pattern recognition and the geometrical shape of the line corresponds to the template; D - start of the rise to the section with a cross slope: S2 grid perimeter (18307 pix) on the longitudinal slope section; E - end of the ascent to the section with a transverse slope: S3 perimeter (8984.56 pix) on the longitudinal slope section is comparable to the value of S1 perimeter for a even roadway section; F - beginning of the section with a transverse slope: S4 grid perimeter (12778.8 pix) at the transverse grade section; G - end of the transverse grade section: S5 grid perimeter (29192.46 pix) at the end of the transverse grade section; H - beginning of descent from the section with a transverse slope: the curvature of the projection lines from top to bottom, defining the beginning of the ascending transverse slope; I - end of a descent from the section with a transverse slope: S7 grid perimeter (10947,63 pix) at the end of the transverse slope is comparable to the value of S1 perimeter for a even section of the road surface

Структурная схема программной реализации анализа отклонений дорожного покрытия перед автономным транспортным средством приводится на рис. 3 и включает в свой состав: функцию распознавания точек горизонтальных и вертикальных линий и углов их пересечения, вычисление периметра геометрических фигур; функцию определения кривизны линий проекции; функцию распознавания при помощи шаблона; функцию обработки параметров S (характерный периметр состояния дорожного полотна), L (кривизна линии участка дорожного полотна) и Score (процент соответствия шаблону участка дорожного полотна).

Рис. 3 Структурная схема функций программного модуля анализа отклонений дорожного покрытия

Fig. 3 A block diagram of functions of the software module for the road surface diversion analysis

Программная реализация алгоритма слежения за состоянием дорожного полотна позволяет достичь необходимые функциональные возможности управления АТС в условиях определения состояния дорожного покрытия. Функциональные возможности программного модуля обеспечиваются параллельным выполнением функций МЗ и позволяют в режиме реального времени во время движения АТС на масштабном макете карьерной автодороги своевременно выявлять участки дорожного покрытия: ровное покрытие; начало и окончание продольного уклона; начало и окончание поперечного подъема; начало и окончание поперечного уклона.

Заключение

Экспериментальные исследования оценки состояния дорожного полотна позволили определить методы машинного зрения для распознавания дефектов, уклонов на основе регистрации искажения сетки световых маркеров:

– распознавание углов пересечения точек горизонтальных и вертикальных линий, выделение на его основе прямоугольной области, вычисление периметра области для участков: ровное покрытие, начало и окончание подъема на участок с поперечным уклоном, начало и окончание участка с поперечным уклоном, окончание спуска с участка с поперечным уклоном;

– метод определения соответствия шаблону для участка продольного уклона;

– определение кривизны линий проекции, характерной для участков начала и окончания продольного уклона и начала спуска с участка с поперечным уклоном.

Алгоритм работы системы слежения за состоянием дорожного покрытия перед автономным ТС и его программная реализация позволяют своевременно определять уклоны дорожного покрытия и могут применяться при решении промышленных задач управления движением АТС.

Список литературы

1. Никитенко М.С., Кизилов С.А., Худоногов Д.Ю. Анализ подходов к управлению автономными транспортными средствами. Современные наукоемкие технологии. 2022;(12-2):278–283. https://doi.org/10.17513/snt.39472 Nikitenko M.S., Kizilov S.A., Khudonogov D.Yu. Analysis of approaches to autonomous vehicle control. Modern High Technologies. 2022;(12-2):278–283. (In Russ.) https://doi.org/10.17513/snt.39472

2. Турлаев Р.С. Перспективы развития беспилотной логистики в автомобильных грузоперевозках. Вестник Алтайской академии экономики и права. 2019;(11-2):187–192. https://doi.org/10.17513/vaael.839 Turlaev R.S. Prospects for the development of unmanned logistics in road cargo transport. Vestnik Altaiskoi Akademii Ekonomiki i Prava. 2019;(11-2):187–192. (In Russ.) https://doi.org/10.17513/vaael.839

3. Xiaoyan Y., Marin M. A study on recent developments and issues with obstacle detection systems for automated vehicles. Sustainability. 2020;12(8):3281. https://doi.org/10.3390/su12083281

4. Biletska O., Kurtz G.L., Zadek H. Operation control center for automated vehicles: Conceptual design. Proceedings of the Hamburg International Conference of Logistics. 2022;33:731–752. https://doi.org/10.15480/882.4702

5. Журавлев А.Г., Черных В.В. Компьютерное моделирование при оценке влияния дорожных факторов на производительность карьерного автотранспорта. Известия Томского политехнического университета. Инжиниринг георесурсов. 2023;334(12):20–31. https://doi.org/10.18799/24131830/2023/12/4308 Zhuravlev A.G., Chernykh V.V. Computer modeling when assessing the impact of road factors on performance of quarry vehicles. Bulletin of the Tomsk Polytechnic University. Geo Assets Engineering. 2023;334(12):20–31. (In Russ.) https://doi.org/10.18799/24131830/2023/12/4308

6. Журавлев А.Г., Черепанов В.А., Карпов В.А., Невежин А.Ю. Рекомендации по эксплуатации и улучшению качества содержания карьерных автодорог Олимпиадинского и Благодатного горно-обогатительных комбинатов. Горная промышленность. 2023;(5):88–95. https://doi.org/10.30686/1609-9192-2023-5-88-95 Zhuravlev A.G., Cherepanov V.A., Karpov V.A., Nevezhin A.Yu. Recommendations on operation and improvement in the quality of in-pit road maintenance at the Olympiadinsky and Blagodatny mining and processing plants. Russian Mining Industry. 2023;(5):88–95. (In Russ.) https://doi.org/10.30686/1609-9192-2023-5-88-95

7. Клебанов А.Ф. Автоматизация и роботизация открытых горных работ: опыт цифровой трансформации. Горная промышленность. 2020;(1):8–11. Режим доступа: https://mining-media.ru/ru/article/ogr/15630-avtomatizatsiya-irobotizatsiya-otkrytykh-gornykh-rabot-opyt-tsifrovoj-transformatsii (дата обращения: 20.08.2024). Klebanov A.F. Automation and robotization in opencast mining: experience in digital transformation. Russian Mining Industry. 2020;(1):8–11. (In Russ.) Available at: https://mining-media.ru/ru/article/ogr/15630-avtomatizatsiya-i-robotizatsiyaotkrytykh-gornykh-rabot-opyt-tsifrovoj-transformatsii (accessed: 20.08.2024).

8. Hossain I., Al Saif M.S., Biswas R.I., Mia S., Ahmed A., Zishan S.R. Design and development of road surface condition monitoring system. In: Hossain M.S., Majumder S.P., Siddique N., Hossain M.S. (eds) The Fourth Industrial Revolution and Beyond. Lecture Notes in Electrical Engineering, vol. 980. Springer Singapore; 2023, pp. 413–425. https://doi.org/10.1007/978-981-19-8032-9_29

9. Крылов М.А., Курганов К.И., Чащин Е.А. Аппаратно-программный комплекс мониторинга, моделирования и прогнозирования состояния и износа дорожного покрытия. Транспортные сооружения. 2018;5(1):04SATS118. https://doi.org/10.15862/04SATS118 Krylov M.A., Kurganov K.I., Chaschin Y.A. Monitoring and modeling hardware-software complex for forecasting the condition and deterioration of the road surface. Russian Journal of Transport Engineering. 2018;5(1):04SATS118. (In Russ.) https://doi.org/10.15862/04SATS118

10. Смирнов К.Д. Разработка системы обнаружения препятствий и формирования траектории отклонения на базе сигнала изображения фронтальной видеокамеры БПЛА. REDS: Телекоммуникационные устройства и системы. 2020;10(2):40–48. Smirnov K.D. Obstacle detections system and diversion route development based on drone front camera images. REDS: Telekommunikatsionnye Ustroistva i Sistemy. 2020;10(2):40–48. (In Russ.)

11. Nikitenko M.S., Khudonogov D.Yu., Popinako Ya.V., Kizilov S.A. Determining the route and roadway condition in front of autonomous vehicle. Proceedings of the Third International Conference on Digital Technologies, Optics, and Materials Science (DTIEE 2024). Vol. 13217. 2024, 1321713. https://doi.org/10.1117/12.3036935

12. Попинако Я.В., Ефременкова М.В., Никитенко М.С., Худоногов Д.Ю. Обоснование параметров масштабного материального макета автодороги для отладки и тестирования автономного роботизированного шасси. Горное оборудование и электромеханика. 2023;(6):41–49. https://doi.org/10.26730/1816-4528-2023-6-41-49 Popinako Y.V., Efremenkova M.V., Nikitenko M.S., Khudonogov D.Yu. An opencast automobile road model parameters determining for testing and tunning automated robotic chassis. Mining Equipment and Electromechanics. 2023;(6):41–49. (In Russ.) https://doi.org/10.26730/1816-4528-2023-6-41-49

13. Burghardt T.E., Popp R., Helmreich B., Reiter T., Bohm G., Pitterle G., Artmann M. Visibility of various road markings for machine vision. Case Studies in Construction Materials. 2021;15:e00579. https://doi.org/10.1016/j.cscm.2021.e00579

14. Relf C. Image acquisition and processing with LabVIEW. CRC Press; 2004. 201 p.

15. Klinger T. Image Processing with LabVIEW and IMAQ Vision. Prentice Hall PTR; 2020. 319 p.