Результаты за 2016 год

Разработка методов визуальной имитации процессов внекорабельной деятельности космонавтов на наружной поверхности орбитальной станции.

Основной результат

Проведены исследования особенностей внекорабельной деятельности космонавтов. Разработан метод визуальной имитации наружной поверхности Международной космической станции с использованием технологии мультифокальных дисплеев, направленный на устранение влияния основных факторов, присущих традиционным наголовным дисплейным системам: 

• недопустимые ошибки оператора при определении расстояний и размеров объектов;
• рассогласование стереоскопического и аккомодационного механизмов человеческого зрения;
• ограничение времени тренировки в связи опасностью для зрения оператора.

Создан прототип системы визуализации для тренажеров внекорабельной деятельности с применением наголовного бифокального дисплея.

Содержание работы

В основе успешности применения классических компьютерных тренажеров лежит близость зрительного восприятия человеком  реальной и виртуальной визуальной обстановки в тех случаях, когда целевые объекты, на которые ориентируется человек,  находятся от него на значительном расстоянии. Такие типы визуальной обстановки успешно имитируются с помощью проекционных устройств, экраны которых устанавливаются на расстоянии  6 и более метров от обучаемого или с помощью коллимационной оптики, фокусирующей человеческих глаз на бесконечность. Для отработки непосредственного взаимодействия человека с близкими целевыми объектами (к которой в полной мере относится отработка деятельности космонавта на внешней поверхности космической станции) традиционные методы визуальной имитации не применимы, так как в них на малых расстояниях до целевых объектов перестают согласованно работать механизмы зрительного восприятия:  аккомодация -фокусировка глаза на близкий целевой объект и конвергенция - встречное движение глаз, в результате которого обе зрительные линии сходятся вместе на целевом объекте.

Особенности зрительного восприятия близких объектов.

F - точка пересечения зрительных осей;

Z- расстояния от глаз до плоскости монитора;

d - расстояние от глаз до точки фиксации взгляда на поверхности целевого объекта.

Попытка применения традиционных дисплейных стереосистем приводит к возникновению конфликта – глаз аккомодирует на фиксированное расстояние до плоскости экрана (Z - на схеме), независимо от того, в какой точке виртуального пространства (ближе или дальше) пересекаются зрительные оси глаз вследствие конвергенции (точка F - на схеме на расстоянии d от глаза). В результате у человека появляется бинокулярный стресс, утомление глаз, головная боль, тошнота и т.д. Кроме того, обучаемому прививаются ложные навыки, связанные с недопустимым ошибочным определением расстояний и размеров объектов.

Для устранения или существенного уменьшения перечисленных проблем был предложен метод, основанный на применении наголовного бифокального дисплея и разработана специализированная четырехканальная система визуализации. Оптическая схема и внешний вид дисплея приведены на рисунках:

Бифокальная схема, обладающая двумя планами фокусировки

Внешний вид наголовного мультифокального дисплея

В отличии от традиционных стерео систем визуализации в разработанной системе генерируется по два изображения для каждого глаза. При этом каждое каждый пиксел генерируемого изображения наряду с плоскими координатами XY получает третью координату D=1/d, где D – глубина в диоптриях, d – расстояние до видимого участка объекта в метрах. Пара изображений для одного глаза соответствует двум фокусным планам -  1м и 4м. В целях оптимизации процесса отображения разработан специальный шейдер, который на этапе постобработки генерирует два изображения, соответствующие разным фокусным планам на основе одного готового изображения стереопары. Шейдер модифицирует яркость каждого пиксела в зависимости от разности между глубиной изображения в данном пикселе и целевым фокусным планом.  Зависимость яркости от глубины подобрана с учетом психофизиологических свойств зрения так, чтобы при оптическом смешивании изображений двух фокусных планов достигалась равномерность аккомодационного восприятия. На рисунках ниже проиллюстрированы два фокальных изображения для одного глаза в типичной сцене тренинга внекорабельной деятельности космонавтов.

 Cлева - изображение для дальнего фокусного плана, cправа - для ближнего плана.

Расстояние до антенн на ближнем плане ~ 1м.

Точка наблюдения смещена на 2м назад от предыдущего рисунка

Четыре изображения предназначенные для одного кадра формируются в виде составного единого изображения и передаются посредством HDMI интерфейса на бифокальный дисплей, который с помощью окулярной оптоэлектронной схемы для каждого глаза формирует по два плана изображения.
Такая технология не имеет методической погрешности, как при монокулярном, так и при бинокулярном зрении. В первом случае виртуальное пространство воспринимается объёмным за счет аккомодации глаза на точки фиксации взгляда F с глубиной d. При этом изображение вокруг точки фиксации становится резким, а изображение удалённых (d<DF) или более близких точек (d>DF) в поле зрения естественным образом дефокусируется. Во втором случае, при стерео зрении аккомодация и конвергенция глаз приходится на одни и те же точки фиксации F. Возникает процесс стереопсиса, который усиливает объёмное ощущение пространства. Таким образом, в области интереса изображение оказывается и резким и слитным (без диплопии). Появление визуального дискомфорта принципиально невозможно. Дефокусировка изображений вне области фиксации остаётся, что является необходимой компонентой достоверного когнитивного восприятия пространства. Технология обеспечивают согласованное стереоскопическое и аккомодационное зрение при большом динамическом диапазоне расстояний до целевых объектов (от 80 см до бесконечности).
Опытный образец разработанной системы получил положительную оценку в ФГБУ «НИИ ЦПК имени Ю.А. Гагарина» в качестве перспективной технологии для создания тренажеров внекорабельной деятельности космонавтов. Поданы заявки на изобретение 2015147672 и на полезную модель PCT/RU 2015/000956.
Разработанный метод визуальной имитации может использоваться при создании перспективных систем дистанционного управления различными транспортными средствами, роботизированными манипуляторами, в авиационных тренажерах дозаправки в воздухе, в задачах микрохирургии и др.