Анализ методов подготовки и преобразования информации, поступающей в хранилища данных для эффективного управления горнотехнической системой
В.Н. Захаров, Д.А. Клебанов, М.А. Макеев, Д.Н. Радченко
Институт проблем комплексного освоения недр им. академика Н.В. Мельникова Российской академии наук, г. Москва, Российская Федерация
Горная Промышленность №5S / 2023 стр. 10-17
Резюме: В статье оценены существующие методы сбора и работы с данными в промышленности, а также предложен альтернативный вариант работы с данными для управления горнотехническими системами на различных этапах их функционирования. Показано, что формируемый объем информации, поступающей с различной частотой и требующей специализированных методов обработки, структурирования и анализа, образует систему больших данных и служит для повышения эффективности реализации геотехнологических процессов. Приведена возможная унифицированная структура сбора данных от цифровых источников горнотехнической системы. Дан анализ возможных методов обработки данных для их аналитики и поиска неявных зависимостей и решения задач прогнозной аналитики. Предложены инструменты сбора и хранения данных для создания унифицированной системы анализа больших данных при управлении горнотехническими системами. Заявлено, что для создания унифицированной аналитической системы сбора цифровых данных горнотехнической системы необходимо использование типовых промышленных протоколов сбора и хранения данных, например MQTT, применяемых в качестве стандарта в промышленных системах интернета вещей – IIoT в соответствии с ISO ISO/IEC 20922:2016. Для решения задач хранения требуется применение типовой архитектуры брокера очередей, а также инструмента работы с временными рядами, необходимого для применения методов машинного обучения и работы с большими данными. Предложенный в статье подход к классификации данных с точки зрения скорости их получения позволяет стандартизировать принципы работы с данными. В связи с тем что объем передаваемых данных не зависит от частоты формирования информации от цифрового источника, предлагается передавать все формируемые данные от цифрового источника для последующего поиска неявных зависимостей между ними. Отмечено, что применение конкретных методов и алгоритмов анализа данных горнотехнической системы прежде всего зависит от поставленной задачи, часто формируемой в виде гипотезы, которая должна быть проверена за счет выявления неявных зависимостей между разными источниками данных. Для повышения эффективности управления горнотехнической системой на всех этапах освоения месторождений предлагается применять подход ELT, что может стать важным преимуществом с точки зрения управления технологическими процессами горнотехнической системы в будущем.
Ключевые слова: горнотехническая система, большие данные, архитектура информационных систем, системы диспетчеризации, обработка данных, методы обработки информации
Благодарности: Статья написана в рамках выполнения гранта Российского научного фонда №22617600142, https://rscf.ru/project/22617600142/
Для цитирования: Захаров В.Н., Клебанов Д.А., Макеев М.А., Радченко Д.Н. Анализ методов подготовки и преобразования информации, поступающей в хранилища данных для эффективного управления горнотехнической системой. Горная промышленность. 2023;(5S):10–17. https://doi.org/10.30686/1609-9192-2023-5S-10-17
Информация о статье
Поступила в редакцию: 03.10.2023
Поступила после рецензирования: 22.11.2023
Принята к публикации: 02.12.2023
Информация об авторах
Валерий Николаевич Захаров – академик Российской академии наук, директор, Институт проблем комплексного освоения недр им. академика Н.В. Мельникова Российской академии наук, г. Москва, Российская Федерация; https://orcid.org/0000-0002-9309-2391, Scopus ID 56438797200
Дмитрий Алексеевич Клебанов – кандидат технических наук, заведующий лабораторией №3.2, Институт проблем комплексного освоения недр им. академика Н.В. Мельникова Российской академии наук, г. Москва, Российская Федерация; https://orcid.org/0000-0002-3289-9212, Scopus ID 55922194400, e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.
Михаил Андреевич Макеев – научный сотрудник лаборатории №3.2, Институт проблем комплексного освоения недр им. академика Н.В. Мельникова Российской академии наук, г. Москва, Российская Федерация; https://orcid.org/0000-0003-0941-7606, Scopus ID 57270771800
Дмитрий Николаевич Радченко – кандидат технических наук, доцент, заведующий лабораторией №1.1, Институт проблем комплексного освоения недр им. академика Н.В. Мельникова Российской академии наук, г. Москва, Российская Федерация; https://orcid.org/0000-0003-1821-3840, Scopus ID 6507269210
Список литературы
1. Рыльникова М.В., Цупкина М.В., Кирков А.Е. Технологии сбора и обработки больших данных – основа повышения достоверности первичной информации о массивах горных пород при освоении месторождений полезных ископаемых и техногенных образований. Известия Тульского государственного университета. Науки о Земле. 2023;(1):308–327. https://doi.org/10.46689/2218-5194-2023-1-1-308-327
2. Захаров В.Н., Каплунов Д.Р., Клебанов Д.А., Радченко Д.Н. Методические подходы к стандартизации сбора, хранения и анализа данных при управлении горнотехническими системами. Горный журнал. 2022;(12):55–61. https://doi.org/10.17580/gzh.2022.12.10
3. Захаров В.Н., Гвишиани А.Д., Вайсберг Л.А., Дзеранов Б.В. Большие данные и устойчивое функционирование горнотехнических систем. Горный журнал. 2021;(11):45–52. https://doi.org/10.17580/gzh.2021.11.06
4. Nambiar A., Mundra D. An overview of data warehouse and data lake in modern enterprise data management. Big Data and Cognitive Computing. 2022;6(4):132. https://doi.org/10.3390/bdcc6040132
5. Rahmani A.M., Azhir E., Ali S., Mohammadi M., Ahmed O.H., Yassin Ghafour M., Hasan Ahmed S., Hosseinzadeh M. Artificial intelligence approaches and mechanisms for big data analytics: a systematic study. PeerJ Computer Science. 2021;7:e488 https://doi.org/10.7717/peerj-cs.488
