Пример реализации управления технологическим оборудованием из устройств формирования виртуального трехмерного пространства

С.А. Кизилов¹, М.С. Никитенко¹, Д.Ю. Худоногов¹, Б. Неоги ², Д.О. Верховцев^1
1 Федеральный исследовательский центр угля и углехимии Сибирского отделения Российской академии наук, г. Кемерово, Российская Федерация
² Инженерный колледж JIS, Кальяни, Западная Бенгалия, Индия
Горная Промышленность №5 / 2023 стр. 124-129

Резюме: Статья посвящена описанию разработанной технологии дистанционного контроля параметров и управления оборудованием из виртуальной реальности. Учтены преимущества технологии и устройств формирования виртуального трехмерного пространства по отношению к привычному способу визуализации технологической информации SCADA систем на экраны. Разработан прототип SCADA на основе трехмерного интерфейса, отображаемого посредством гарнитуры виртуальной реальности для взаимодействия оператора с виртуальными объектами. В качестве технологического оборудования использованы масштабные действующие модели секций механизированной крепи в составе очистного комплекса с сервоприводами, обеспечивающими распор и разгрузку секции. Интерфейс виртуального управления как воспроизводит объекты управления, так и отображает их реакцию на управляющие воздействия в интерактивном режиме. В работе представлены: блок-схема алгоритма, обеспечивающая взаимодействие между интерактивными виртуальными объектами и физическими моделями, структурная схема программного обмена данными между виртуальной реальностью и физическими объектами, лицевая панель управления на экране ПК оператора и интерфейс управления из виртуальной среды. Описанная в статье технология управления технологическим оборудованием на основе вывода трехмерного изображения SCADA интерфейса позволила изменить уровень «погружения» оператора в рабочий процесс, повысив его концентрацию на контролируемых параметрах.

Ключевые слова: виртуальная реальность, виртуальное рабочее пространство, интерфейс, трехмерный интерфейс, контроллер реального времени, система управления, орган управления, управление технологическим оборудованием, управление технологическим процессом

Благодарности: Работа выполнена в рамках государственного задания ФГБНУ «Федеральный исследовательский центр угля и углехимии Сибирского отделения Российской академии наук» проект FWEZ-2021-0017 «Разработка научных основ создания автономных и автоматизированных горных машин, оборудования, технических и управляющих систем на базе перспективных цифровых и роботизированных технологий» (рег. №121121000036-1).

Для цитирования: Кизилов С.А., Никитенко М.С., Худоногов Д.Ю., Неоги Б., Верховцев Д.О. Пример реализации управления технологическим оборудованием из устройств формирования виртуального трехмерного пространства. Горная промышленность. 2023;(5):124–129. https://doi.org/10.30686/1609-9192-2023-5-124-129

Информация о статье

Поступила в редакцию: 29.07.2023

Поступила после рецензирования: 06.09.2023

Принята к публикации: 14.09.2023

Информация об авторах

Кизилов Сергей Александрович – старший научный сотрудник, Федеральный исследовательский центр угля и углехимии Сибирского отделения Российской академии наук, г. Кемерово, Российская Федерация; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.

Никитенко Михаил Сергеевич – кандидат технических наук, заведующий лабораторией, Федеральный исследовательский центр угля и углехимии Сибирского отделения Российской академии наук, г. Кемерово, Российская Федерация; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.

Худоногов Данила Юрьевич – научный сотрудник, Федеральный исследовательский центр угля и углехимии Сибирского отделения Российской академии наук, г. Кемерово, Российская Федерация; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.

Неоги Бисваруп – кандидат технических наук, декан факультета научных исследований и разработок, координатор лаборатории AICTE JISCE IDEA, профессор кафедры Электроники и коммутационной техники, Инженерный колледж JIS, Кальяни, Западная Бенгалия, Индия; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.

Верховцев Даниил Олегович – младший научный сотрудник, Федеральный исследовательский центр угля и углехимии Сибирского отделения Российской академии наук, г. Кемерово, Российская Федерация; e-mail: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.

Введение

Системы контроля технологических параметров предприятия, в том числе данных многофункциональных систем безопасности угольных шахт (МФСБ), систем видеонаблюдения, требуют вывода получаемой информации на пульт диспетчера. С увеличением потока информации усложняется процесс ее отображения. Современные SCADA (Supervisory Control And Data) разрабатываются на основе цифровых технологий, где отображение и взаимодействие оператора с автоматизированной системой управления технологическим процессом (АСУ ТП) осуществляется при помощи персонального компьютера. Таким образом, рабочее место диспетчера формируется совокупностью экранов, на которые выводятся параметры технологических процессов, за которыми следит, как правило, один человек. При этом, несмотря на предпринимаемые разработчиками SCADA усилия по фиксации внимания диспетчера на ключевых параметрах, отслеживаемых процессах, приближение показателей к верхней границе допустимых значений может остаться незамеченным в силу переключения внимания на внешние раздражители [1].

Разработка и запуск в эксплуатацию диспетчерского пункта с централизованной SCADA является дорогостоящими мероприятием: достаточно серьезная доля затрат при развертывании диспетчерского пункта относится на приобретение оборудования (экраны большой диагонали, системы для их монтажа и подключения). Таким образом, понижение стоимости введения в работу диспетчерского пункта и его последующей эксплуатации также является актуальным.

Очевидно, что дальнейшее экстенсивное наращивание информационных панелей и количества дисплеев не ведет к снижению стоимости эксплуатации диспетчерского пункта, снижению нагрузки на диспетчера-оператора, повышению безопасности на предприятии. Усложнение интерфейсов путем уплотнения количества информации на одном дисплее за счет создания нескольких виртуальных рабочих столов или аналогичных решений снижает контроль за объектом и повышает требования к пользователю.

В качестве альтернативы отображения на экране развивается технология объемного представления информации, где глубина и трехмерность отображения картинки достигаются за счет предъявления отдельного изображения для каждого глаза в специальных гарнитурах виртуальной реальности. Суть технологии – помещение человека в полностью виртуальное (нарисованное с помощью специального программного обеспечения) интерактивное трехмерное окружение [2]. Имеется успешный опыт создания систем удаленного управления промышленными роботами с интерфейсом управления в смешанной реальности на основе гарнитур виртуальной реальности [3–5].

Проводятся исследования по созданию виртуальных научных лабораторий, где всё пространство лаборатории и приборы отображаются с помощью технологии виртуальной реальности [6]. Возможность отображения объемных изображений посредством виртуальной реальности начинают применять для телеуправления мобильными роботами [7]. Тем не менее, наиболее широкое применение на сегодняшний день виртуальная реальность находит в основном в области образования либо игровой индустрии.

Группы ученых проводят исследования по сравнению эффективности и результативности работы человека при их обработке в виртуальной реальности и на обычном мониторе в двухмерном отображении [8; 9]. Результаты исследований показывают, что производительность при работе человека с большими массивами однотипных данных, использующего монитор, зачастую хуже, чем при работе с теми же данными в виртуальной реальности, при этом когнитивная нагрузка не является более значимой, чем в результате аналогичной работы с экраном. Считается, что причиной подобного положительного влияния виртуальной реальности на производительность является большая вовлеченность в процесс, основанная на геймификации – приближении процесса выполнения рутинных задач к компьютерной игре [10]. Кроме того, в работах отмечается, что виртуальная реальность повышает удобство работы с уже обработанными данными [11], особенно в части сравнения графической информации перед привычным нам монитором.

Материалы и методы

С учетом указанных выше преимуществ технологии в работе предложен вариант технической реализации управления технологическим оборудованием из виртуальной реальности, в частности, взаимодействие пользователя (оператора АСУ ТП) посредством интеграции входных и выходных параметров SCADA системы в трехмерный интерфейс, отображаемый с помощью гарнитуры виртуальной реальности. В данной постановке задачи, интерфейс управления формируется не на плоскости или в аксонометрических проекциях, а в трехмерном виртуальном пространстве, позволяя использовать для расположения его элементов еще и глубину виртуального пространства, оперируя с объемными управляющими элементами и считывая информацию с информационных панелей, расположенных на разной глубине виртуального пространства [12]. Взаимодействовать с виртуальными трехмерными объектами, отображаемыми SCADA, оператор может с помощью манипуляторов, которые сейчас использует игровая индустрия для управления объектами в виртуальной реальности [2].

Результаты и обсуждение

Разработан проект SCADA на основе трехмерного интерфейса, отображаемого посредством гарнитуры виртуальной реальности для взаимодействия оператора с виртуальными объектами в качестве органов управления приводами устройств, подключенных к ней.

В качестве физических объектов контроля и управления из среды виртуальной реальности использованы изготовленные масштабные модели секций механизированной крепи в количестве 8 штук в составе очистного комплекса с сервоприводами, обеспечивающими распор и разгрузку секции в положения: ВВЕРХ; ВНИЗ.

Управление сервоприводами осуществляется контроллером реального времени NI myRIO на основе установки логических уровней цифровых сигналов на линиях цифрового вывода. Каждый сервопривод управляется двумя цифровыми линиями. Управление физическими объектами реализовано в среде LabVIEW.

Обмен данными между интерактивными виртуальными объектами и физическими моделями секций механизированной крепи реализован с помощью сетевого протокола TCP/IP. При регистрации событий действий с элементами интерфейса виртуальной среды, серверным модулем программного обеспечения гарнитуры виртуальной реальности производится управление положением секции в кодах ASCII путем отправки на контроллер реального времени команд установки положения секций. Передача данных по протоколу TCP/IP осуществляется в два направления: от серверного модуля программного обеспечения к контроллеру реального времени и обратно.

Рис. 1 Блок-схема алгоритма взаимодействия между физическими объектами и объектами в виртуальной реальности

Fig. 1 Block diagram of the interaction algorithm between the physical and the VR objects

Блок-схема алгоритма, обеспечивающего взаимодействие между интерактивными виртуальными объектами и физическими моделями секций крепи, показана на рис. 1. На первом этапе разработки, процесс управления секциями прототипирован и протестирован аппаратно-программным обеспечением (рис. 2), на основе лицевой панели которого был разработан интерфейс среды виртуальной реальности.

Рис. 2 Лицевая панель управления моделями секций механизированных крепей

Fig. 2 Front panel to control models of powered roof support sections

Обобщенная структурная схема программного обмена данными, воспроизводящего разработанный пользовательский интерфейс в виртуальной реальности с физическими моделями секций механизированной крепи, приведена на рис. 3.

Рис. 3 Обобщенная структурная схема программного обмена данными между виртуальной реальностью и физическими объектами: 1 – контроллер реального времени; 2 – устройство коммутации сигналов для управления сервоприводами; 3 – физические модели секций

Fig. 3 Generalized structural diagram of the software data exchange between the virtual reality and real objects: 1 – real-time controller; 2 – signal switching device to control servo drives, 3 – physical models of roof support sections

Регистрация и обработка событий из виртуального интерфейса реализована средствами вызова функций среды Unity языком программирования C# на ЭВМ управления. Также скриптом на С# реализована передача данных на микроконтроллер реального времени по протоколу TCP/IP. Обмен данными между скриптами обеспечивается через сетевые переменные общего доступа. Таким образом, зарегистрированные события (нажатие одной из кнопок «ВВЕРХ» или «ВНИЗ») обрабатываются алгоритмами управления интерфейсами объектов виртуальной среды и физическими объектами.

Внешний вид пользовательского интерфейса в виртуальной среде управления секциями механизированной крепи представлен на рис. 4.

Рис. 4 Интерфейс управления физическими моделями секций механизированных крепей в виртуальной среде: а – интерфейс управления полным набором элементов имитационного модуля; б – единичный имитационный элемент

Fig. 4 Interface to control physical models of the powered roof support sections in the VR environment: а – interface to control the full set of the simulation module elements; б – a single simulation element

При запуске проекта, производится сетевое соединение с сервером Unity. После установления соединения в режиме реального времени производится отправка параметров положения секций (по умолчанию «ВНИЗ»).

Далее принятое сообщение декодируется и отправляется в микроконтроллер. Программно-аппаратная среда взаимодействия интерактивных виртуальных объектов с физическими моделями секций механизированных крепей в режиме эксплуатации вместе с полным аппаратным составом прототипа кокпита показана на рис. 5.

Рис. 5 Комплекс оборудования: 1 – гарнитура, 2 – роутер, 3 – ЭВМ управления, 4 – модуль имитации производственного процесса, 5 – соединительные кабели, 6 – модуль обеспечения электропитанием

Fig. 5 Equipment complex: 1 – VR headset, 2 – router, 3 – PC, 4 – roof support section models, 5 – connecting cables, 6 – electric power supply module

Для обеспечения возможности беспроводной связи между микроконтроллером реального времени и ЭВМ управления, к которому подключается гарнитура виртуальной реальности, в комплексе оборудования предусмотрен сетевой роутер. Это позволило разнести в пространстве ЭВМ управления и гарнитуру.

Новизна предлагаемых решений состоит в:

– применении виртуальных объектов трехмерного интерфейса в качестве инструментов отображения и управления физическими технологическими объектами;

– разработке алгоритмов и схем взаимодействия между виртуальными объектами и физическими технологическими системами;

– разработке алгоритмов построения трехмерных интерфейсов систем управления производствами.

Прототип управления физическими объектами в SCADA позволяет управлять физическими объектами, взаимодействуя с их виртуальным трехмерным изображением в виртуальной реальности. Виртуальный интерфейс показывает интерактивную обратную связь на поданную оператором команду (разгрузить или распереть секцию) путем анимации действия на виртуальной модели соответствующей секции крепи и изменения положения трехмерного объекта управления.

Выводы

Описанный в статье комплекс оборудования позволяет проводить исследования в области разработки SCADA на основе трехмерного интерфейса, отображаемого гарнитурой виртуальной реальности, и взаимодействия оператора с виртуальными объектами в качестве органов управления приводами физических устройств. Стенд позволяет обеспечить выполнение до двадцати четырех дискретных команд (включить-выключить) и пять команд плавного регулирования работы физических объектов.

Важным отличием является возможность отображения интерфейса в виртуальной реальности, изменяя уровень «погружения» оператора в рабочий процесс и повышая степень его внимания на контролируемых параметрах.

Данный подход позволяет сделать рабочее место оператора мобильным, компактным, энергоэффективным и относительно недорогим, разрабатывать тренажерные комплексы для персонала предприятий нового уровня, применяя интерактивное взаимодействие с реальными физическими объектами (телефоны, кнопки оповещения об аварийной ситуации, имитации работающего оборудования) в ходе учебного процесса. Предложенная технология позволяет вывести применение гарнитур виртуальной реальности из сферы образования и игровой индустрии в управление сложными технологическими системами.

Список литературы

1. Лыгач А.В., Лыгач В.Н. Фосфатно-сырьевая база России и ее роль в решении проблемы продуктов питания, а следовательно1. Renaud K., DeCarlo K, Chung J., Moon J., Xun S., Buteyn S. The Mineral Industries of Asia and the Pacific. 2017–2018 Minerals Yearbook.

2. Baker M.S., Elias N., Guzmán E., Soto-Viruet Y. USGS 2017–2018 Minerals Yearbook Asia and Pacific August 2022.

3. Humphreys D. In search of a new China: mineral demand in South and Southeast Asia. Miner Economics. 2018;31:103–112. https://doi.org/10.1007/s13563-017-0118-7

4. Yueh L. The rise of the global middle class. 2016. Available at: www.bbc.co.uk.

5. Kharas H. The unprecedented expansion of the global middle class: an update. The Brookings Institution; 2017. 27 p. Available at: https://www.brookings.edu/wp-content/uploads/2017/02/global_20170228_global-middle-class.pdf

6. Malenbaum W. World demand for raw materials in 1985 and 2000. McGraw-Hill, New York; 1978. 126 p. Available at: https://archive.org/details/worlddemandforra0000male

7. Crowson P. Intensity of use reexamined. Miner Economics. 2018;31:61–70. https://doi.org/10.1007/s13563-017-0113-z

8. Nageswaran V.A., Natarajan G. Can India grow? Challenges, opportunities, and the way forward. Carnegie India; 2016. 144 p. Available at: https://carnegieendowment.org/files/CEIP_CanIndiaGrow_Final_.pdf

9. Anand M. Toward a uniquely Indian growth model. McKinsey&Company; 2013. Available at: https://www.mckinsey.com/featuredinsights/asia-pacific/toward-a-uniquely-indian-growth-model

1. Samorodova L.L., Lyubimov O.V., Yakunina Yu.S. Application of SCADA Systems in the Coal Mining Industry. In: Coal in the 21st Century: Mining, Processing and Safety, Kemerovo, Russia, October 10–12, 2016. Kemerovo: Atlantis press; 2016, pp. 50–54. https://doi.org/10.2991/coal-16.2016.10

2. Nite S. Modu X.R. VR/AR enterprise insider: guidebook for virtual reality and XR. 2020. 142 p.

3. DelPreto J., Lipton J., Sanneman L., Fay A.J., Fourie C., Choi C., Rus D. Helping robots learn: A human-robot master-apprentice model using demonstrations via virtual reality teleoperation. In: 2020 IEEE International Conference on Robotics and Automation (ICRA), Paris, France, 31 May 2020 – 31 August 2020, pp. 10226–10233. https://doi.org/10.1109/ICRA40945.2020.9196754

4. Lipton J.I., Fay A.J., Rus D. Baxter’s homunculus: Virtual reality spaces for teleoperation in manufacturing. IEEE Robotics and Automation Letters. 2018;3(1):179–186. https://doi.org/10.1109/LRA.2017.2737046

5. Hu J., Watkins D., Allen P. Teleoperated robot grasping in virtual reality spaces. arXiv:2301.13064. https://doi.org/10.48550/arXiv.2301.13064

6. Alnagrat A.J., Ismail R.C., Syed Idrus S.Z. The Opportunities and challenges in virtual reality for virtual laboratories. Innovative Teaching and Learning Journal. 2023;6(2):73–89. https://doi.org/10.11113/itlj.v6.91

7. Annagurdov Y., Atayeva B., Hojagulyyev P. E. Development of a mobile robot controlled by virtual reality technology. International Journal of Multidisciplinary Research Transactions. 2023;5(4):156–157. https://doi.org/10.5281/zenodo.7783075

8. Millais P., Jones S.L., Kelly R. Exploring data in virtual reality: Comparisons with 2D data visualizations. In: CHI EA '18: Extended Abstracts of the 2018 CHI Conference on Human Factors in Computing Systems. April 2018, pp. 1–6. https://doi.org/10.1145/3170427.3188537

9. Тарасова И.В., Никитенко М.С., Трубникова О.А., Кухарева И.Н., Куприянова Д.С., Соснина А.С., Барбараш О.Л. Апробация методики оценки психофизиологического состояния оператора при виртуализации рабочего информационного пространства. Фундаментальная и клиническая медицина. 2021;6(2):66–74. https://doi.org/10.23946/2500-0764-2021-6-2-66-74

10. Glover J., Linowes J. Complete virtual reality and augmented reality development with unity. Glover Birmingham: Packt Publishing Ltd.; 2019. 637 p.

11. Cavallo M., Dolakia M., Havlena M., Ocheltree K., Podlaseck M. Immersive insights: A hybrid analytics system for collaborative exploratory data analysis. In: 25th ACM Symposium on Virtual Reality Software and Technology. November 2019, pp. 1–12. https://doi.org/10.1145/3359996.3364242

12. Nikitenko M.S., Kizilov S.A., Ignatova A.Y., Remizov S.V., Natura E.S. Operator's workplace virtualization and approaches assessment of its graphic implementation. IOP Conference Series: Earth and Environmental Science. 2021;823:012017. https://doi.org/10.1088/1755-1315/823/1/012017