Комплексный подход к построению автоматизированной системы обработки больших данных о перевозочном процессе транспортных средств
Р.Н. Сафиуллин1, М.С. Присяжнюк2, A.C. Парра1, Р.Р. Сафиуллин1, А.А. Унгефук1
1 Санкт-Петербургский горный университет императрицы Екатерины II, г. Санкт-Петербург, Российская Федерация
2 Комитет Ленинградской области по транспорту, г. Санкт-Петербург, Российская Федерация
Горная Промышленность №4 / 2025 стр. 122-129
Резюме: В статье рассматриваются вопросы оценки эффективности грузовых перевозок карьерными автосамосвалами на основе применения автоматизированной системы алгоритма обработки больших данных, получаемых от датчиков и ГЛОНАСС/GPS-устройств на транспортных средствах в режиме реального времени. Предложены методы сокращения времени обработки данных и анализа в реальном времени, включающие в себя определение инфраструктуры распределённой обработки, алгоритмы оптимизации в реальном времени, а также методы машинного обучения для управления и анализа данных от датчиков, систем GPS и других интеллектуальных устройств в транспортных средствах. Разработанный алгоритм обработки больших данных перевозочного процесса учитывает сбор, хранение, анализ, визуализацию данных и структурную модель определения технических и эксплуатационных показателей эффективности транспортного процесса: время доставки, коэффициент загрузки транспортного средства, объем перевезенного груза, коэффициент использования пробега, расход топлива, время простоя и коэффициент технической готовности.
Ключевые слова: автоматизированная система, алгоритм обработки больших данных, оценка перевозочного процесса, карьерные автосамосвалы
Для цитирования: Сафиуллин Р.Н., Присяжнюк. М.С., Парра A.C., Сафиуллин Р.Р., Унгефук А.А. Комплексный подход к построению автоматизированной системы обработки больших данных о перевозочном процессе транспортных средств. Горная промышленность. 2025;(4):122–129. https://doi.org/10.30686/1609-9192-2025-4-122-129
Информация о статье
Поступила в редакцию: 16.04.2025
Поступила после рецензирования: 05.06.2025
Принята к публикации: 16.06.2025
Информация об авторах
Сафиуллин Равилл Нуруллович – доктор технических наук, профессор кафедры транспортно-технологических процессов и машин, Санкт-Петербургский горный университет императрицы Екатерины II, г. Санкт-Петербург, Российская Федерация; https://orcid.org/0000-0002-8765-6461; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.
Присяжнюк Михаил Сергеевич – кандидат технических наук, Председатель Комитета Ленинградской области по транспорту, г. Санкт-Петербург, Российская Федерация; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.
Парра Ариас Сунильда – аспирант кафедры транспортно-технологических процессов и машин, Санкт-Петербургский горный университет императрицы Екатерины II, г. Санкт-Петербург, Российская Федерация; https://orcid.org/0000-0003-1715-7998;email: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.
Сафиуллин Руслан Равиллович – кандидат технических наук, доцент кафедры транспортно-технологических процессов и машин, Санкт-Петербургский горный университет императрицы Екатерины II, г. Санкт-Петербург, Российская Федерация; https://orcid.org/0000-0003-2315-3678; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.
Унгефук Александр Александрович – кандидат технических наук, доцент кафедры транспортно-технологических процессов и машин, Санкт-Петербургский горный университет императрицы Екатерины II, г. Санкт-Петербург, Российская Федерация; https://orcid.org/0000-0003-1473-9095; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.
Введение
Быстрое развитие информационно-коммуникационных технологий позволило выявить значимость источников больших данных, таких как: смарт-карты, датчики, GPS/ГЛОНАСС-модули (данные о местоположении транспортных средств), модули отслеживания мобильных телефонов и социальные сети.
Эти источники пришли на замену традиционным методам сбора данных, позволяя проводить более глубокий анализ транспортных процессов с использованием передовых методов прогнозной статистики.
Современные транспортные средства, перевозящие грузы, в том числе карьерные автосамосвалы, используют датчики для мониторинга в режиме реального времени следующих параметров: вес груза, расход топлива, время и место погрузки/разгрузки транспортного средства, мгновенная скорость, характеристика водителя и работы двигателя, параметры перевозимых грузов. Сведения об эксплуатации содержат подробную информацию о совершенных поездках, включая идентификатор транспортного средства, дату, время, координаты и скорость[1].
Кроме того, благодаря внедрению телематических навигационных технологий в интеллектуальных транспортных системах растет объем больших данных о движении подключенных высокоавтоматизированных транспортных средств, которые генерируют большие объемы данных [2–4]. Полученная информация используется для оптимизации транспортного планирования [5; 6], оценки грузопотоков и изучения характеристик транспорта [7–9], выбора карьерных машин [10; 11], оценки эффективности транспортных средств для разработки месторождений полезных ископаемых в других регионах [12–14].
Технологии больших данных также применяются для решения оптимизационной задачи комплексного транспортного планирования, в частности: для оценки направлений грузопотоков[15], изучения характеристик грузовых перевозок, выбора транспортных средств и наземного горно-транспортного оборудования [16; 17], а также для оценки эффективности выполненной работы транспортными средствами с целью разработки месторождений полезных ископаемых в других регионах[14; 17–19]. Однако на данный момент не существует комплексного подхода, позволяющего решать эти вопросы полностью.
Методы и материалы
На основе результатов исследования предложена структурная модель получения информации о карьерных автосамосвалах и транспортной инфраструктуре в системе управления транспортом в карьерах. Система обработки больших объемов данных позволяет проводить комплексный анализ условий эксплуатации транспортных средств, своевременно выявлять отклонения и нарушения в работе узлов и агрегатов транспортных средств (рис. 1).
Рис. 1 Общая структура системы обработки больших объемов данных перевозочного процесса
Fig. 1 A general structure of the system for processing large volumes of data on the haulage process
Архитектура платформы для обработки и анализа больших данных перевозочного процесса на основе машинного обучения позволяет решать задачи, представленные на рис. 2.
Рис. 2 Функциональная архитектура анализа больших данных перевозочного процесса
Fig. 2 The functional architecture of the Big Data analysis of the haulage process
Для обработки большого объема данных, генерируемых датчиками транспортного средства, необходимо создать инфраструктуру распределенной обработки на основе платформ, таких как Apache Spark и Apache Hadoop. Инфраструктура включает в себя два компонента: кластер обработки и распределенное хранилище. Кластер обработки состоит из взаимосвязанных узлов, выполняющих задачи параллельно, что позволяет анализировать данные в режиме реального времени. С другой стороны, распределенное хранилище хранит исторические данные, которые будут использоваться в моделях прогнозирования (с помощью HDFS).
Результаты
Алгоритм обработки и анализа больших объемов данных перевозочного процесса с интеллектуальных датчиков и спутниковой навигационной системы представлен ниже (рис. 3). В регистрационной базе данных не фиксируется направление движения транспортных средств, поэтому предлагается процесс адресной маркировки на основе таких критериев, как: разница во времени между регистрациями и время по расписанию. Полученные данные обрабатываются для определения типа перевозимого груза, а также анализируются схемы маршрутов (например: прямые маршруты, несколько прямых маршрутов и несколько загрузок/разгрузок).
Рис. 3 Алгоритм обработки больших данных перевозочного процесса транспортных средств
Fig. 3 An algorithm to process Big Data of the haulage process by transport vehicles
Необходимо группировать записи данных в соответствии с временным интервалом между ними, чтобы классифицировать перемещение транспортных средств в зависимости от пройденного расстояния, перевозимого груза и времени погрузки/разгрузки. Для этого можно использовать такие алгоритмы, как K-Means или DBSCAN [20, 21].
Рис. 4 Различные сценарии записи транзакций
Fig. 4 Various transaction logging scenarios
Запись идентификатора транспортного средства может классифицироваться по различным сценариям в зависимости от количества записей, даты и времени появления и т. д. (рис. 4). При разгрузке транспортного средства формируется важная информация о параметрах, происхождении и назначении перевозимых грузов. Для получения этой информации используются предположения и записи из базы данных. Записи данных считаются оконченными, если они соответствуют определённым критериям, например, имеют одинаковый идентификатор транспортного средства, разную дату регистрации и разный адрес. Записи, не отвечающие этим критериям, считаются несоответствующими.
Для определения места разгрузки применяются критерии отбора, основанные на теории цепочки поставок. Если нет совпадающих записей данных в один и тот же день, выбирается запись с транзакцией в пиковое время. Если совпадающих записей данных нет, выбирается запись с ближайшим к конечному пункту погрузки.
На этапе выделения признаков используется анализ временных рядов, который предполагает изучение закономерностей, тенденций и глубинной структуры данных для составления прогнозов или извлечения значимой информации, после чего данные разбиваются на две выборки: обучающую и тестовую. Для выявления и анализа частот можно использовать модель ARIMA и преобразование Фурье. Общая формулировка модели ARIMA такова:
(1)
Преобразование Фурье определяется для вектора x с n точками, равномерно дискретизированными по
, (2)
ω = e -2πi/n– один из n комплексных корней из единицы, где i – мнимая единица. Для x и y индексы j и k варьируются от 0 до n – 1.
При анализе временных рядов рассчитываются основные статистические показатели: среднее значение, медиана, мода, стандартное отклонение, дисперсия, максимальное и минимальное значения, а также квартильные значения. После того как направление движения и группы загрузок определены, включаются дополнительные данные для обучения модели. Затем определяется и строится модель машинного обучения. После обучения модели проводится оценка ее эффективности с целью проведения необходимых корректировок. Затем определяется и строится модель машинного обучения.
На этапе оценки модели используются метрики для измерения эффективности модели и последующей корректировки архитектуры или гиперпараметров по мере необходимости. Обычно используются следующие метрики:
Рис. 5 Анализ изменения давления в цилиндре подвески карьерного автосамосвала
Fig. 5 Analysis of pressure changes in the suspension cylinder of a mining dump truck
Рис. 6 Структурная модель определения технических и эксплуатационных показателей оценки эффективности работы транспортных средств
Fig. 6 A structural model for determining the technical and operational indicators for assessing the performance of vehicles
1 – средняя абсолютная ошибка (MAE) и 2 – среднеквадратичная ошибка (RMSE):
; (3)
, (4)
где ÝT – прогнозируемое значение; YT – фактическое значение.
На основании полученных результатов в виде графиков и диаграмм (рис. 5) возможно анализировать эти данные и принимать обоснованные решения по повышению эффективности транспортных средств.
После оценки модели машинного обучения происходит ее внедрение, а также реализация системы контроля точности модели и ее периодического обновления новыми данными. Далее на основе полученных результатов оценивается эффективность перевозочного процесса с учетом технических и эксплуатационных показателей (рис. 6) [22, 23]:
. (5)
В завершение проводится сравнение полученных результатов с установленными стандартами. На основе этих результатов даются рекомендации по улучшению эксплуатации транспортных средств. Данные и показатели постоянно отслеживаются и пересматриваются для улучшения прогнозирования и анализа.
Заключение
Таким образом, разработанные методы позволяют быстро и эффективно управлять карьерными самосвалами на основе алгоритма, разработанного для построения автоматизированной системы обработки больших объемов данных, получаемых от датчиков и устройств ГЛОНАСС/ GPS в режиме реального времени, предназначенного для оценки эффективности перевозок на карьерных самосвалах с помощью интеграции методов сокращения данных и анализа в реальном времени, сочетая в себе алгоритмы оптимизации, распределенной обработки и машинного обучения. Предложены структура модели для обработки больших объемов данных в процессе перевозки, включая: информацию о местоположении, состоянии карьерных самосвалов, загрузки, скорости движения, расходе топлива, качестве вождения и характеристиках дорог, а также структурная модель для определения технических и эксплуатационных показателей, необходимых для оценки транспортного процесса: время доставки, загрузка транспортного средства, объем перевезенного груза, коэффициент использования пробега, расход топлива, время цикла погрузки/разгрузки, время простоя и коэффициент технической готовности. Эта система может быть адаптирована к другим видам транспорта, таким как коммерческие автопарки или системы общественного транспорта, где анализ в режиме реального времени и оптимизация маршрутов необходимы для повышения качества обслуживания и пунктуальности.
Список литературы
1. Fernandes A.X., Guimarães P., Santos M.Y. Big Data analytics for vehicle multisensory anomalies detection. Procedia Computer Science. 2022;204:817–824. https://doi.org/10.1016/j.procs.2022.08.099
2. Nuzzolo A., Comi A., Polimeni A. Urban freight vehicle flows: an analysis of freight delivery patterns through floating car data. Transportation Research Procedia. 2020;47:409–416. https://doi.org/10.1016/j.trpro.2020.03.116
3. Гендлер С.Г., Степанцова А.Ю., Попов М.М. Обоснование безопасной эксплуатации закрытого угольного склада по газовому фактору. Записки Горного института. 2024:1–11. Режим доступа: https://pmi.spmi.ru/pmi/article/view/16519 (дата обращения: 12.11.2024). Gendler S.G., Stepantsova A.Y., Popov M.M. Justification on the safe exploitation of closed coal warehouse by gas factor. Journal of Mining Institute. 2024:1–11. Available at: https://pmi.spmi.ru/pmi/article/view/16519 (accessed: 12.11.2024).
4. R. N. Safiullin, R. R. Safiullin, K. V. Sorokin [et al.] Integral Assessment of Influence Mechanism of Heavy Particle Generator on Hydrocarbon Composition of Vehicles Motor Fuel / R. N. Safiullin, R. R. Safiullin, K. V. Sorokin [et al.] // International Journal of Engineering. – 2024. – Vol. 37, No. 8. – P. 1700-1706. – DOI 10.5829/ije.2024.37.08b.20. – EDN NHRCBX.
5. Tian, H. Integral Evaluation of Implementation Efficiency of Automated Hardware Complex for Vehicle Traffic Control / H. Tian, R. N. Safiullin, R. R. Safiullin // International Journal of Engineering. – 2024. – Vol. 37, No. 8. – P. 1534-1546. – DOI 10.5829/ ije.2024.37.08b.07. – EDN PVMCUB.
6. Жуковский Ю.Л., Сусликов П.К. Оценка потенциального эффекта применения технологии управления спросом на горных предприятиях. Устойчивое развитие горных территорий. 2024;16(3):895–908. https://doi.org/10.21177/1998-4502-2024-16-3-895-908 Zhukovsky Yu.L., Suslikov P.K. Assessment of the potential effect of applying demand management technology at mining enterprises. Sustainable Development of Mountain Territories. 2024;16(3):895–908. https://doi.org/10.21177/1998-4502-2024-16-3-895-908
7. Sahin O., Stinson M., Ismael A., Shen H. Analysis of urban freight flows and retail goods movement using GPS trajectory and land use data. Procedia Computer Science. 2024;238:809–814. https://doi.org/10.1016/j.procs.2024.06.096
8. Габдулхаков Р.Р., Говкелевич К.Ю., Рудко В.А., Пягай И.Н. Метод повышения детонационной стойкости автомобильного бензина на основе компонента, полученного в процессе производства игольчатого кокса. Горная промышленность. 2025;(1S):21–27. https://doi.org/10.30686/1609-9192-2025-1S-21-27. R.R. Gabdulkhakov, K.Yu. Govkelevich, V.A. Rudko, I.N. Pyagayn A process to increase the detonation resistance of motor gasoline using a component obtained during needle coke production. Russian Mining Industry. 2025;(1S):21–27. https://doi.org/10.30686/1609-9192-2025-1S-21-27
9. Мякотных А.А., Иванова П.В., Иванов С.Л. К вопросу классификации комплексов добычи торфяного сырья. Горная промышленность. 2023;(6):137–142. https://doi.org/10.30686/1609-9192-2023-6-137-142 Myakotnykh A.A., Ivanova P.V., Ivanov S.L. On classification of peat extraction complexes. Russian Mining Industry. 2023;(6):137–142. (In Russ.) https://doi.org/10.30686/1609-9192-2023-6-137-142
10. Barjoee S.S., Rodionov V.A. Respirable dust in ceramic industries (Iran) and its health risk assessment using deterministic and probabilistic approaches. Pollution. 2024;10(4):1206–1226. https://doi.org/10.22059/poll.2024.376043.2360
11. Emelyanov A.A., Avksentieva E.Yu., Avksentiev S.Yu., Zhukov N.N. Applying neurointerface for provision of information security. International Journal of Advanced Trends in Computer Science and Engineering. 2019;8(6):3277–3281. https://doi.org/10.30534/ijatcse/2019/97862019
12. Tarazona-Torre L., Amaya C., Paipilla A., Gomez C., Alvarez-Martinez D. The parallel machine scheduling problem with different speeds and release times in the ore hauling operation. Algorithms. 2024;17(8):348. https://doi.org/10.3390/a17080348
13. Великанов В.С. Прогнозирование нагруженности рабочего оборудования карьерного экскаватора по нечетко-логистической модели. Записки Горного института. 2020;241:29–36. https://doi.org/10.31897/pmi.2020.1.29 Velikanov V.S. Mining excavator working equipment load forecasting according to a fuzzy-logistic model. Journal of Mining Institute. 2020;241:29–36. https://doi.org/10.31897/pmi.2020.1.29
14. Semenova T., Martínez Santoyo J.Y. Increasing the sustainability of the strategic development of oil producing companies in Mexico. Resources. 2024;13(8):108. https://doi.org/10.3390/resources13080108
15. Мустафаев А.С., Сухомлинов В.С., Бажин В.Ю., Буковецкий Н.А., Суров А.В. Плазменная технология получения сверхчистого корунда. Цветные металлы. 2024;(4):21–29. https://doi.org/10.17580/tsm.2024.04.03 Mustafaev А.S., Sukhomlinov V.S., Bazhin V.Yu., Bukovetskiy N.A., Surov А.V. Plasma technology for producing ultrapure corundum. Tsvetnye Metally. 2024;(4):21–29. (In Russ.) https://doi.org/10.17580/tsm.2024.04.03
16. Курганов В.М., Грязнов М.В., Колобанов С.В. Оценка надежности функционирования экскаваторно-автомобильных комплексов в карьере. Записки Горного института. 2020;241:10–21. https://doi.org/10.31897/pmi.2020.1.10 Kurganov V.M., Gryaznov M.V., Kolobanov S.V. Assessment of operational reliability of quarry excavator-dump truck complexes. Journal of Mining Institute. 2020;241:10–21. https://doi.org/10.31897/pmi.2020.1.10
17. Kuznetsov D., Kosolapov A. Dynamic of performance of open-pit dump trucks in ore mining in severe climatic environment. Transportation Research Procedia. 2022;63:1042–1048. https://doi.org/10.1016/j.trpro.2022.06.104
18. Салимов А.Э., Шибанов Д.А., Иванов С.Л. Риски отказов карьерного экскаватора, связанные с его техническим обслуживанием и ремонтом. Горная промышленность. 2024;(2):97–102. https://doi.org/10.30686/1609-9192-2024-2-97-102 Salimov A.E., Shibanov D.A., Ivanov S.L. Failure risks of mine excavator associated with its maintenance and repair. Russian Mining Industry. 2024;(2):97–102. (In Russ.) https://doi.org/10.30686/1609-9192-2024-2-97-102
19. Barjoee S.S., Rodionov V., Vaziri Sereshk A.M. Noise climate assessment in ceramic industries (Iran) using acoustic indices and its control solutions. Advances in Environmental Technology. 2025;11(1):91–115. https://doi.org/10.22104/aet.2024.6922.1899
20. Ikotun A.M., Ezugwu A.E., Abualigah L., Abuhaija B., Heming J. K-means clustering algorithms: A comprehensive review, variants analysis, and advances in the era of big data. Information Sciences. 2023;622:178–210. https://doi.org/10.1016/j.ins.2022.11.139
21. Кортиев А.Л., Хасцаев Б.Д., Кортиев А.А. Метод мониторинга и достоверного прогнозирования возникновения оползней дорог на основе цифрового устройства. Горная промышленность. 2025;(1S):47–54. https://doi.org/10.30686/1609-9192-2025-1S-47-54 . Kortiev A.L., Khastsaev B.D., Kortiev A.A. A method to monitor and reliably predict emergence of road landslides using a digital device. Russian Mining Industry. 2025;(1S):47–54.
22. Safiullin R, Arias Z. Comprehensive Assessment of the Effectiveness of Passenger Transportation Processes using Intelligent Technologies . Open Transp J, 2024; 18: e26671212320514. http://dx.doi.org/10.2174/0126671212320514240611100437
23. Сафиуллин Р.Р., Симонова Л.А. Научные основы повышения эффективности внедрения интегрированных интеллектуальных технологий в транспортно-технологический процесс доставки грузов. Горная промышленность. 2025;(1S):55–61. https://doi.org/10.30686/1609-9192-2025-1S-55-61 Safiullin R.R., Simonova L.A. Scientific foundations for increasing the efficiency of the implementation of integrated intelligent technologies in the transport and technological process of cargo delivery. Russian Mining industry. 2025;(1S):55– 61. https://doi.org/10.30686/1609-9192-2025-1S-55-61
