Базой рассматриваемой научной проблемы является синтез между человеком-оператором, который физически обменивается механической энергией через обратную связь по усилию, и роботом, используемым как тактильное устройство при взаимодействии с виртуальными объектами в среде виртуальной реальности (VR).

Этот сценарий предлагает плодотворную основу для научных исследований, которые могут быть сфокусированы на различных аспектах и уровнях человеко-машинного интерфейса.

Конечной целью данной научно-исследовательской работы было изучение синтеза между средой Microsoft Robotic Studio (MSRS) и двумя пригодными к носке экзоскелетами верхних конечностей, используемыми как тактильные устройства. В MSRS было разработано специальное приложение. Это приложение можно легко конфигурировать с точки зрения геометрии и физических характеристик объектов виртуальной реальности. Приложение использовалось для тактильного исследования погружной, контактной, и интерактивной среды виртуальной реальности с помощью двух экзоскелетов.

Используя экзоскелет как тактильное устройство, оператор надевает две экзоскелетонные руки и специальные VR-очки, которые погружают его в интерактивную и тактильно доступную среду виртуальной реальности. Благодаря внедрению алгоритма компенсации сил притяжения две экзоскелетонные руки оказываются «невесомыми» при перемещении их в пространстве оператором. Как только какая-то часть руки входит в контакт с виртуальным объектом в VR-среде, виртуальная реальность представляет это взаимодействие визуально, в то время как экзоскелетонная рука, используя свои приводы, вырабатывает соответствующую силовую обратную связь на суставах выбранной руки человека с учетом свойств материала виртуального объекта и физики смоделированного взаимодействия.

Например, если в VR-среде представлены виртуальный статический мяч или стена, то экзоскелет останавливает пользователя на поверхности объекта, позволяя ему свободно исследовать объект, не проникая в него. Если объект обладает определенной пластичностью, то VR-среда на основании числа проникновений в объект воспроизводит то усилие, которое должно поступить от экзоскелета к человеку-оператору, и таким образом моделирует пластичность объекта.

Рис. – Испытуемый человек, использующий двурукий экзоскелет и имеющий на голове специальный VR-дисплей, создающий погружную среду.

Система управляется двумя ПК (ПК сервосистемы и ПК виртуальной реальности), а также уникальным приложением, разработанным с помощью MSRS (Рис.2). ПК сервосистемы отвечает за поддержание сервоконтроля нижнего уровня. ПК виртуальной реальности запускает VR-приложение MSRS и передает визуальный образ виртуальной реальности на VR-очки. ПК виртуальной реальности поддерживает текущее состояние VR-среды и посредством встроенного физического сервера MSRS рассчитывает необходимую силовую обратную связь, направленную на экзоскелетонную руку и от нее.

Протокол UDP используется в качестве коммуникативного протокола между ПК сервосистемы и ПК виртуальной реальности. ПК сервосистемы получает сведения о положениях сустава экзоскелета, который физически соединен с рукой человека, а также о силах взаимодействия и моментах между оператором и экзоскелетонным устройством. На основе требуемой силовой обратной связи, рассчитываемой ПК виртуальной реальности, ПК сервосистемы отправляет команды сервосистемы на приводы. Это команды выработки соответствующих вращающих моментов на суставах, которые симулировали бы физическое взаимодействие с виртуальным объектом. Текущее положение сустава передается посредством ПК сервосистемы к ПК виртуальной реальности для обновления данных VR-среды.

Рис. – Архитектура системы экзоскелета (для упрощения задачи показана только одна из двух рук экзоскелета) 

 

[local /wp-content/uploads/2012/03/Exoskeleton_3_VR_MS_Studio1.flv]

Данный ролик демонстрирует потенциальное применение экзоскелета как тактильного устройства. Пользователь использует экзоскелет верхней конечности (EXO-UL7) для взаимодействия с виртуальным мячом. Взаимодействие в виртуальной среде создает некоторое усилие между фигурой виртуального человека и виртуальным мячом. Это усилие вырабатывается, формируется физической экзоскелетонной рукой и прикладывается к руке пользователя. В результате пользователь ощущает тактильное взаимодействие, как если бы он почувствовал все это, взаимодействуя с реальным мячом. Виртуальная среда была разработана с помощью инструментария Microsoft Robotic Studio.

Microsoft Robotics Studio

Microsoft® Robotics Studio это среда на основе Windows для различных аппаратных платформ. Microsoft Robotics Studio включает в себя облегченный REST-style, сервис-ориентированную среду исполнения, набор визуальных средств разработки и симуляции, а также учебники и пример программы для начинающих.

Скачать Microsoft Robotics

Виртуальные миры / Игры с осязанием, использующие инструментарий Microsoft Robotic Studio – исследование, финансируемое Microsoft Research
Джейкоб Розен (PI)

Категория: EXO-UL7 | 7 комментариев »

Комментарии