Результаты за 2023 год

 

Разработка методов повышения точности локализации объекта с использованием камер машинного зрения и маркеров. Разработка проекта системы быстрого определения опасности волны цунами вдоль побережья

Определение положения и ориентации объекта в реальном времени по изображению маркера требует обработки видеопотока. Это является ресурсоёмкой задачей, причём тем более ресурсоёмкой, чем большая точность результата требуется. Были разработаны алгоритмы для увеличения точности, которые включают в себя учёт геометрических искажений оптики, учёт размытия изображения оптикой, выделение дефектов, не подлежащих обработке и исключение их из обработки.

Использован метод минимизации ошибки, который требует вычисления целевой функции. Для реализации целевой функции хорошо подходят процессоры с архитектурой SIMD (используемой в GPU - графических процессорах). Для использования  преимуществ данной архитектуры необходимо спроектировать алгоритм таким образом, чтобы каждый пиксел (или небольшая группа пикселов) изображения обрабатывался, во-первых, независимо от остальных, а во-вторых, одной и той же последовательностью операций. Целевая функция вычисляется как сумма целевых функций в отдельных пикселах. Это суммирование также можно частично выполнять на GPU, сгруппировав пикселы. Целевая функция в пикселе – это квадрат разности между значениями пикселов исходного и вычисленного изображения. Основной (и наиболее затратной) частью вычислительного алгоритма является определение значения пиксела c учётом заданной проекции и искажений. Моделируемые искажения включают в себя геометрические искажения и размытие. Для первых используется нелинейная модель с использованием рациональных квадрик, а размытие, будучи обусловлено множеством факторов, принимается гауссовым.

В результате исследований показано, что для восстановления смещения волной поверхности в очаге с заданной точностью, иногда достаточно обработать лишь часть записи (до первого максимума) одного глубоководного регистратора, если последний «правильно» расположен по отношению к очагу цунами.

Схема решения задачи оперативного прогноза цунами для заданного участка побережья предполагает, что через несколько минут после землетрясения сейсмическая служба определила местоположение эпицентра и оценила его магнитуду. Исходя из этого, определяется набор базисных источников, покрывающих область вокруг эпицентра. При более высоком значении магнитуды землетрясения нужно учитывать большее количество данных источников. Затем из созданной ранее базы рассчитанных мареограмм извлекаются те, что относятся к базисным источникам вокруг эпицентра. После того, как поступят записи с глубоководных регистраторов уровня океана и один или несколько регистраторов зафиксируют спад уровня после первого максимума, включается разработанный алгоритм восстановления очага. Через минуту вычисляется набор коэффициентов в линейной сумме рассмотренных базисных источников, которая аппроксимирует начальное смещение водной поверхности в очаге.

 

Исследование на макете возможностей отказоустойчивой доверенной системы контроля и  управления с виртуальными контроллерами (СКУ ВК)

По результатам исследований на макете были уточнены требования к организации, функционированию, созданию и модернизации доверенных систем контроля и управления с виртуальными контроллерами (СКУ ВК) с усовершенствованным комплексом средств информационной безопасности (КСБ) и взаимодействующими с ним доработанными основными техническими и программными средствами системы.

Исследованы возможности согласованного функционирования следующих средств усовершенствованной доверенной СКУ ВК:

- встроенных средств информационной безопасности верхнего уровня (СИБВ ВУ), реализованных в составе основных программных средств СКУ ВК, установленных на компьютерах с функциями АРМ инженера, АРМ оператора, Сервера Приложений, Сервера Баз Данных;

- встроенных средств информационной безопасности нижнего уровня (СИБВ НУ), реализованных на компьютере с функциями виртуального контроллера;

- дополнительных программных средств информационной безопасности (СИБД): Системы Обнаружения Вторжений, Сервера Информационной Безопасности, Сервера Аналитики, АРМ Информационной Безопасности.

Выполненные исследования позволяют обеспечить эффективное комплексное применение современных средств информационной безопасности, встроенных в отказоустойчивую доверенную систему управления с виртуальными контроллерами для объектов критически важной информационной структуры без потери качества функционирования системы в режиме реального времени.

 

Исследование и развитие методов, технологий и программно-аппаратных средств на базе графических процессоров для формирования, обработки и отображения мультимедийных данных в реальном масштабе времени

Реконструкция 3D-формы из одного ракурса изображения представляет собой важную задачу, поскольку она служит основой для формирования новых представлений об объекте, наблюдаемом на одном изображении, но из другой точки зрения, с другой текстурой и освещением. По сравнению с большинством других задач компьютерного зрения реконструкция по одному ракурсу является крайне некорректной проблемой. Как следствие, необходимо сделать дополнительные предположения о том, что геометрия объекта, например, кусочно- плоскостная, форма из текстуры, форма из затенения или форма из расфокусировки. Такие подходы имеют ограничения, сложные по вычислениям и проблематичны для использования в интерактивном режиме.

Для визуализации используется метод отслеживания лучей, проходящих через каждый пиксель плоскости изображения от взгляда наблюдателя сквозь пирамиду видимости (объектное пространство). Лучи проецируются на базовую плоскость.

Вычислительный процесс для реализации метода распараллелен на графическом процессоре GPU 470 GTX. Это включало в себя шаги проекции и бинарного деления вокселей. Метод протестирован на нескольких реальных изображениях, сравнены полученные результаты с другими известными методами, оценен внешний вид, время вычисления, объем данных пользовательского ввода. Так как нельзя получить истинные значения глубины из одного ракурса, то не ставилась задача решения абсолютного сходства с исходными данными. Скорее стремились к правдоподобию реконструкции. Причем, так как обратные стороны объектов естественно невидимы во входном изображении, то реконструкции должны быть симметричными. Это может быть достигнуто путем простого зеркального отображения вычисленных значений глубины вдоль плоскости изображения. С помощью данного упрощения можно получить замкнутые представления 3D-объекта, используя карты глубины.

Для нахождения данных трехмерных точек необходимо вокселизировать оставшуюся часть. Чем меньше вокселей остается, тем большее сходство тестируемых объектов.

Предложен метод распознавания трехмерных объектов на основе скалярных функций возмущения и теоретико-множественной операции вычитания. Метод распознавания отличается от известных подходов тем, что в процессе проверки участвуют не только точки поверхности, но и объём.

 

Защиты ВКР

• Ремнев М.А. под руководством к.т.н. Лысакова К.Ф. успешно защитил ВКР на тему "Разработка алгоритма синхронизации виртуальной и реальной камер методом оптического потока" и получил диплом магистра
• Дмитриенко М.Ю. под руководством к.т.н. Лысакова К.Ф. успешно защитил ВКР на тему "Разработка программно-аппаратного кодека для передачи видео с минимальной задержкой" и получил диплом магистра
• Соломин М.Г. под руководством Таранцева И.Г. успешно защитил ВКР на тему "Разработка подсистемы захвата видео для системы Stadium Graphics" и получил диплом бакалавра

 

Результаты за 2022 год

Алгоритм высокоточной локализации объекта с использованием камер машинного зрения и маркеров с использованием высокопроизводительных платформ c архитектурой SIMD. Программные средства определения основных параметров волны цунами в источнике по одной записи части волнового профиля. Интегрированное решение задачи оперативного прогноза опасности волны цунами на заданном участке побережья.

 

Для решения задачи определения положения и ориентации объекта в реальном времени по изображению маркера был выбран метод минимизации ошибки, который требует вычисления целевой функции.

Разработан алгоритм определения целевой функции для локализации объектов с использованием камер машинного зрения и маркеров для реализации на графических процессорах (GPU) с архитектурой SIMD. Для использования преимуществ этой архитектуры алгоритм спроектирован таким образом, чтобы каждый пиксел (или небольшая группа пикселов) изображения обрабатывался, во-первых, независимо от остальных, а во-вторых, одной и той же последовательностью операций. На производительность алгоритма влияет множество факторов, но при прочих равных условиях, алгоритм, реализованный с использованием GPU, обеспечивает увеличение производительности примерно на порядок по сравнению с реализацией только на центральном процессоре (CPU).

Рассмотрена возможность определения примерных параметров волны в очаге цунами за возможно малое время. За основу берутся прямые измерения профиля волны донными датчиками давления. Сенсоры, аналогичные DART, расположены достаточно произвольно напротив зон субдукции. Вместе с тем, методами математического моделирования легко решается задача оптимизации мест расположения небольшого количества дополнительных сенсоров для того, чтобы через минимально возможное время волна цунами достигла ближайшего сенсора. Следует отметить, что это будет гарантированное время в так называемом наихудшем случае, когда эпицентр землетрясения в пределах данной зоны субдукции будет максимально (с точки зрения времени распространения волны) удален от системы сенсоров. До настоящего времени это подход «умного» расширения системы наблюдения, к сожалению, не получил развития.

Предложен и проверен в серии численных экспериментов новый критерий оптимальности расположения сенсоров системы наблюдения для своевременного определения параметров волны цунами в источнике. Численные эксперименты проводились на реальной батиметрии с использованием ранее разработанного специализированного вычислителя. Для служб предупреждения об опасности цунами интерес должно представлять такое расположение системы наблюдения, чтобы после определения параметров (амплитуды) в источнике цунами оставалось возможно больше времени до прихода волны на берег. Модельные расчеты показывают, что в этом случае оптимальное расположение датчиков должно быть другим, по сравнению с тем, которое обеспечивает определение параметров за наименьшее время. До настоящего времени авторам неизвестно практическое применение этой технологии.

 

Макетная реализация отказоустойчивой доверенной системы контроля и управления с виртуальными контроллерами (СКУ ВК) с усовершенствованным комплексом средств информационной безопасности (КСБ), взаимодействующим с основными средствами системы, в которых реализованы дополнительные функции, повышающие уровень информационной безопасности.

Реализован макет системы контроля и управления с виртуальными контроллерами (СКУ ВК) с доработанными основными средствами системы управления и с усовершенствованным комплексом средств информационной безопасности. Макет состоит из встроенных в систему и дополнительных средств, не взаимодействующих с системой. Зто позволяет исследовать возможности новых решений, повышающих уровень информационной безопасности систем управления в режиме реального времени. Созданы условия для исследования на макете существующих и новых подходов к обеспечению информационной безопасности значимых объектов критической информационной инфраструктуры и изучения возможностей комплексного применения широко распространенных традиционных и вновь разработанных средств обеспечения информационной безопасности с целью создания доверенных, надежно защищенных систем управления. Макет позволяет исследовать возможности комплексного обеспечения информационной безопасности без потери качества функционирования в режиме реального времени в отказоустойчивых доверенных системах контроля и управления с виртуальными контроллерами.

 

В 2022 году в лаборатории выполнили и успешно защитили дипломы студенты НГУ:

• Погодаев Никита Алексеевич под руководством Лысакова К.Ф. защитил ВКР бакалавра на факультете информационных технологий НГУ на тему "Отображение теней и полупрозрачных объектов в интерактивных системах виртуальной реальности".
• Соковнин Антон Максимович под руководством Лысакова К.Ф. защитил ВКР бакалавра на факультете информационных технологий НГУ на тему "Реализация алгоритма визуализации объемных данных в презентационной системе AllMix".
• Корнев Захар Дмитриевич под руководством Таранцева И.Г. защитил ВКР бакалавра на физическом факультете НГУ на тему "Ускорение алгоритма поиска и сравнения множества видеопоследовательностей".
• Ванданов Сергей Александрович под руководством Таранцева И.Г. защитил ВКР бакалавра на физическом факультете НГУ на тему "Исследование применимости и оптимизация распространенных алгоритмов выделения актера для бытовых систем видеоконференций".
• Пищев Иван Евгеньевич под руководством Таранцева И.Г. защитил ВКР бакалавра на физическом факультете НГУ на тему "Интеграция высокоскоростных камер в систему видеосудейства Форвард Рефери".

 

Результаты за 2021 год

Исследование и разработка подходов к решению задач высокоточной локализации объекта с использованием камер машинного зрения и маркеров.

Разработка программно-аппаратных средств для быстрого (в пределах минуты) расчета распространения волны цунами от источника до выбранного участка береговой линии. 

Задача определения положения и ориентации объекта почти всегда возникает в реализации системы виртуальной и смешанной реальности. Чаще всего необходимо определять положение головы пользователя и/или контроллеров, используемых для управления виртуальными объектами.  В компьютерных тренажерах, в частности космических, позиционирование головы оператора важно для правильной параметризации пирамиды видимости, вершина которой должна соответствовать голове наблюдателя. Не менее важно и позиционирование инструментов в руках оператора, для их правильного отображения в виртуальном мире. Разработан базовый алгоритм, определяющий положение четырехугольного маркера по изображению с камеры машинного зрения. Простота маркера была продиктована удобством отладки алгоритма и интерпретации результатов. Для экспериментов была использована монохромная камера, в результате которых подтверждена применимость разработанного алгоритма в задачах определения положения головы или инструментов в руках оператора для космических тренажеров, где рабочая область тестовой системы сопоставима с пространством, ограничивающим движения космонавта. Разработан и протестирован на реальных данных алгоритм локализации объекта с использованием камер машинного зрения по визуальному маркеру, а также алгоритм калибровки камеры с использованием рациональных квадрик в качестве модели искажений.

Было продолжено тестирование предложенного ранее спецвычислителя на базе вентильной матрицы программируемой пользователем (Field Programmable Gates Array - FPGA). Для обеспечения возможности проведения расчетов параметров волны практически до береговой линии метод сгущающихся сеток был адаптирован для применения разработанного ранее спецвычислителя на базе FPGA для численного моделирования распространения цунами от глубоководного участка океана до береговой линии. Расчеты профиля волны от модельного источника были проведены на реальном профиле глубин у побережья Японии. Полученные результаты позволяют говорить о перспективности разрабатываемой технологии для оперативного (в пределах нескольких минут после сейсмического события) прогноза опасности волны цунами на заданном участке береговой линии. 

Разработка требований к макету системы с усовершенствованным комплексом средств информационной безопасности, взаимодействующим с основными средствами системы управления.

Определены требования к макету доверенной детерминированной системы контроля и управления реального времени с виртуальными контроллерами, на котором будут исследованы возможности применения встроенных в систему средств информационной безопасности, используемых совместно с усовершенствованным комплексом дополнительных средств информационной безопасности.

Возможности применения традиционных подходов к обеспечению информационной безопасности значимых объектов критической информационной инфраструктуры всё еще изучены недостаточно. Необходимо продолжать исследования существующих и поиск новых подходов к обеспечению информационной безопасности с целью создания доверенных, надежно защищенных систем управления реального времени.

Разработаны требования к макету усовершенствованной доверенной детерминированной системы контроля и управления реального времени с виртуальными контроллерами (СКУ ВК), снабженной встроенными и дополнительными средствами информационной безопасности, на котором будут исследованы возможности применения встроенных в систему средств информационной безопасности (СИБВ), реализованных на верхнем уровне системы (СИБВ ВУ) и на нижнем уровне (СИБВ НУ). Реализация макета позволит выполнить исследования, в результате которых может быть существенно повышен общий уровень информационной безопасности систем управления.

 

Результаты за 2020 год

Исследование возможности определения параметров очага подводного землетрясения (источника разрушительно волны цунами) по записи части профиля волны, полученной в одной точке (одной глубоководной гидрофизической станцией). 

В последние годы наблюдается рост числа катастрофических наводнений сейсмической природы в различных регионах мирового океана и существенное усиление их влияния на жизнедеятельность населения в прибрежной полосе. Отметим, что в два года назад минуло 10 лет со дня катастрофического цунами 2004 г., возникшего у берегов Суматры (Индонезия) и унесшего сотни тысяч человеческих жизней. В этом году было 5-ти летие разрушительного цунами 11 марта 2011 года (Великое восточно-японское землетрясение), которое привело к экономическому ущербу в 1/4  годового бюджета Японии и оказало влияние на мировую экономику в целом (в частности, к отказу Германии от ядерной энергетики вследствие аварии на атомной электростанции Фукушима-1). Это было одно из сильнейших землетрясений в истории страны. Волны цунами смывали машины и дома. По оценке Центра Управления Катастроф и Снижения Риска (Center for Disaster Management and Risk Reduction, Germany), около 20000 человек погибли и более 1.000.000 лишились своих домов. Более миллиона зданий было повреждено. Япония лишилась заметной части человеческого и экономического потенциала. Экономический ущерб оценивается в рамках от 250 до 309 миллиардов долларов США. Оказалось, что современное общество не готово к природным катастрофам сейсмической природы такого масштаба.

Одним из центральных параметров любой системы предупреждения об опасности цунами является время, необходимое для оценки высоты волны перед различными участками побережья. Начальными данными для расчетов является оценка параметров смещения морского дна в источнике цунами. Не останавливаясь на описании различных способов получения этих параметров, выделим обработку записи профиля волны цунами, полученную на отдельно взятой глубоководной гидрофизической станции. Отметим, что с использованием спутниковых каналов связи получение данных измерений возможно в режиме реального времени, в процессе прохождения волны над донным датчиком давления.

Как правило, оценки параметров очага цунами делаются на основе записей целого периода волны. Время прохождения полного периода может занимать от 100 сек (для длины волны порядка 20 км) до 250 сек (для длины волны 50 км). Это занимает значительную часть времени добегания волны от источника до ближайшей точки побережья, которое составляет около 1200 сек для событий так называемой ближней зоны, характерных для побережья Камчаки и Курильских островов.

Проведенные численные эксперименты показывают, что в рамках метода предварительных вычислений хорошее приближение параметров очага цунами можно получить примерно по одной четверти полного профиля волны (практически, по данным от начального вступления до первого максимума).