Очки смешанной реальности HOLOLENS. Особенности применения в горнодобывающей отрасли

П.Е. Белоусов, канд. геол.8минерал. наук, научный консультант компании HoloGroup

Е.С. Шульга, руководитель подразделения развития ГГИС Micromine, ООО «Майкромайн Рус»

Инновационное устройство HoloLens – очки смешанной реальности (Mixed Reality), впервые было представлено компанией Microsoft в январе 2016 г. Смешанная реальность в концепции Microsoft позволяет дополнить пространство трехмерными объектами и взаимодействовать с ними, создавая комбинации из реальных объектов и изображения на дисплеях, учитывая особенности человеческого восприятия. Надев очки, пользователь получает возможность дополнять реальное пространство трехмерными голограммами, представленными, к примеру, окнами браузера, моделями зданий, справочной информацией, видео-роликами и многим другим. Причем выглядеть объекты будут словно они настоящие и находятся здесь и сейчас в помещении. В России развитием данного направления занимается компания HoloGroup.Общий вид очков смешанной реальности Microsoft HoloLens

Компания HoloGroup – IT-стартап, разрабатывающий приложения для очков смешанной реальности Microsoft HoloLens. Специализация компании – голографические приложения для различных отраслей промышленности, бизнеса и образования.

Отличительные черты очков HoloLens:

- мобильность;

- автономность;

- управление виртуальными объектами при помощи голоса и жестов;

- возможность видеть одну и ту же голограмму одновременно нескольким пользователям.

Очки работают без проводов, а все необходимые компоненты для функционирования (голографический процессор, вычислительный процессор, 4 инфракрасных датчика, 2 датчика глубины и т.д.) содержат внутри себя. Мощный аккумулятор позволяет работать до 5 часов без подзарядки. Интуитивно понятное управление жестами, а также система распознавания голосовых команд делают управление голограммами удобным и функциональным.

Очки работают в подсистеме Windows Holographic на базе операционной системы Microsoft Windows 10. На боковых частях размещены стереодинамики, передающие звук в режиме 3D, обеспечивая достоверную передачу звуков от голограмм, находящихся в пространстве вокруг пользователя. Устройство постоянно сканирует помещение и запоминает его характеристики, что позволяет статично привязывать трехмерные модели к пространству.

Важная особенность HoloLens – возможность одновременно взаимодействовать сразу с несколькими очками в рамках одной сети. То есть, надев данное устройство, группа людей может видеть одну и ту же голографическую модель и взаимодействовать с ней, в том числе дистанционно. Эта особенность открывает большие перспективы применения очков в различных отраслях.

Необходимо отметить, что HoloLens не относятся к устройствам виртуальной реальности и концептуально отличаются от них. Основное отличие состоит в том, что пользователь не перестает присутствовать в реальном мире, а лишь дополняет его трехмерными голограммами и закрепляет их соответственно предметам реального пространства. Довольно показателен тот факт, что большинство приложений для виртуальной реальности связаны с играми, в то время как основная часть уже существующих приложений для очков HoloLens связана с различными отраслями промышленности, медицины, образования и бизнесом.

Перспективные направления использования HoloLens в горнодобывающей промышленности

Горная промышленность является важнейшим базовым сектором любой страны. Она включает в себя многие отрасли: начиная от поиска и разведки полезных ископаемых, их добычи и переработки и заканчивая выпуском готовой продукции. Как и другие экономически и стратегически важные отрасли, горнодобывающая сфера нуждается в использовании современных, инновационных технологий и их постоянном совершенствовании. Благодаря совместному сотрудничеству HoloGroup и ООО «Майкромайн Рус», был сделан первый шаг по внедрению технологии смешанной реальности в горнодобывающую отрасль.

Исходя из имеющегося опыта были выделены три наиболее перспективных направления ее использования:

- визуализация результатов моделирования в горно-геологических информационных системах (ГГИС);

- применение в системах диспетчеризации;

- проектирование промышленных объектов.

В ноябре 2016 г. компанией «Майкромайн Рус» на VI Всероссийском съезде горнопромышленников, проходившем в Торгово-промышленной палате РФ, была представлена демонстрационная модель карьера Стойленского ГОКа (входит в Группу НЛМК). Здесь успешно внедрена ГГИС Micromine с целью создания каркасной и блочной геологической модели месторождения, уточнения последовательности отработки месторождения на мелкоблочной эксплуатационной модели и планирования горных работ по рудно-скальному массиву.

Сотрудниками компании HoloGroup были импортированы каркасные трехмерные модели рудного тела, карьера и результаты краткосрочного планирования горных работ – каркасы добычных блоков, таблицы отчетов по последовательности отработки и размещению техники из программы Micromine (через векторный формат). Дополнительно было разработано информационное окно со справочной информацией по каждому блоку: объем блока, тоннаж руды, среднее содержание железа и номер экскаватора, прикрепленного к данному блоку.Трехмерные модель карьера Стойленского ГОКа и каркасная геологическая модель месторождения, смоделированные в ГГИС Micromine

Трехмерные модель карьера Стойленского ГОКа и каркасная геологическая модель месторождения, смоделированные в ГГИС Micromine

Как и в любом инновационном проекте, при реализации импорта проекта Micromine появился ряд технических вопросов, о которых стоит рассказать более подробно.

Первое, с чем пришлось столкнуться при импорте каркасных моделей из ГГИС Micromine, – ограничение количества треугольных полигонов, связанное с производительностью очков. Несмотря на их внушительные технические характеристики, на данном этапе их производительность ограничивается примерно 200–250 тыс. треугольных полигонов каркаса. В будущем эту проблему можно будет устранить за счет разработки интерфейса по передаче на очки сложных моделей по сети Wi-Fi после их первичной обработки на компьютере.

Помимо технических ограничений триангуляции, которую можно импортировать в очки, существует необходимость в создании CAD инструментов для работы со стрингами и точками, а также инструментов редактирования каркаса для полноценного переноса работы с 3D-объектами в смешанную реальность. Другими словами, при запуске модели непосредственно в очках отсутствует привычный интерфейс, к которому привыкли пользователи Micromine. В настоящий момент все основные изменения и построения производятся на персональном компьютере непосредственно в приложении Micromine, а затем результаты моделирования импортируются в очки.

Создание интерфейса управления и полноценной работы с трехмерными моделями непосредственно из самих очков – сложная задача. На данный момент необходима базовая концепция минимального набора CAD инструментов, который можно реализовать в очках смешанной реальности. В первую очередь можно увеличить количество жестов и голосовых команд для работы в очках, как в горно-геологической системе.

Но уже сейчас становится ясно, что для осуществления полноценной работы в смешанной реальности, как в интерфейсе Micromine, ограничиться этими инструментами нельзя. Одна из таких задач – добавление графической среды Vizex (Visual Explorer) с координатной сеткой, масштабированием и геопривязкой в очки смешанной реальности HoloLens. Реализация данной инновации будет зависеть от её популярности и востребованности среди пользователей.

Применение в системах диспетчеризации

На наш взгляд, данное направление, наряду с визуализацией результатов моделирования в ГГИС, является наиболее перспективным в части применения очков смешанной реальности в горнодобывающей промышленности.Визуализация результатов моделирования в ГГИС Micromine, импортированных в HoloLens

Визуализация результатов моделирования в ГГИС Micromine, импортированных в HoloLens

Применение технологий смешанной реальности в системах диспетчеризации позволит оператору видеть и контролировать положение техники в режиме реального времени. Размещение неограниченного количества виртуальных мониторов на рабочем пространстве с целью визуализации различной отчетности, графиков и показаний различных датчиков, значительно облегчит работу оператора. Очки смешанной реальности могут заменить несколько компьютерных мониторов диспетчера. На трехмерной модели месторождения – будь то карьер или шахта – диспетчер будет видеть актуальное положение и передвижение техники и людей в режиме голограммы.

Планируется начать первые тестовые разработки в этой области уже в текущем году. За основу визуализации будет взято программное обеспечение Pitram компании Micromine. Это система комплексного управления и контроля горнодобывающим производством.

Проектирование промышленных объектов

Идея проектирования различных промышленных и административных объектов путем создания и размещения голографических трехмерных объектов успела себя зарекомендовать в строительстве и дизайне. Применение данного опыта видится возможным и в горнодобывающей отрасли, а именно при проектировании горно-обогатительных комбинатов и комплектации лабораторий. Визуализация оборудования позволит уже на начальном этапе проектирования видеть результирующую картину размещения промышленных объектов и более удачно использовать имеющееся пространство, оптимизировать процессы.

Применение в других отраслях

Официально продажи очков для массового пользования планируется начать только в 2019 г., но многие компании уже сейчас успешно применяют данную технологию в следующих отраслях:

- в машиностроении;

- в строительстве и архитектуре;

- в образовании (симуляторы и тренинги различного назначения);

- в медицине;

- для интерактивных экскурсиях.

Как и предполагалось, лидирующие позиции по количеству компаний, применяющих данную технологию, занимают США и Европа. В списке крупных компаний, закупивших очки и разработавших свое уникально программное обеспечение, числятся NASA, ThyssenKrupp, Autodesc, Volvo, Volkswagen, Сitibank и многие другие.

Из приведенных данных видно, что основная доля рынка связана с отраслью автомобилестроения, где очки HoloLens применяются при конструировании новых моделей машин и разработке их дизайна. Довольно популярна технология и в строительстве, где у архитекторов возникает необходимость в визуализации проектов зданий и разработке их дизайна. В медицинской отрасли очки HoloLens уже сейчас применяются при проведении трехмерной томографии. Большим потенциалом обладает отрасль образования, где помимо классического обучения планируется применить данное устройство для создания симуляторов различного назначения, проведения тренинга персонала и дистанционного обучения.Применение технологии смешанной реальности в машиностроении

Применение технологии смешанной реальности в машиностроении

Заключение

Постоянное развитие информационных технологий в XXI веке неизбежно приводит к модернизации подходов и методов работы во всех отраслях промышленности. На наш взгляд, именно технология смешанной реальности, на данный момент представленная очками Microsoft HoloLens, является прорывом в развитии IT-технологий. Совместное сотрудничество HoloGroup и Micromine по совмещению данной технологии с продуктами трехмерного моделирования в горно-геологической системе и диспетчеризации открывает новые возможности для решения комплексных задач в горнодобывающей отрасли и позволит сделать шаг в будущее.

Ключевые слова: смешанная реальность, очки HoloLens, голограммы, ГГИС, системы диспетчеризации

Журнал "Горная Промышленность"№2 (132) 2017, стр.44