Research Results 15-1

 2020

Разработка и исследование генераторов тепловизионных изображений,  ориентированных на применение в стендах для тестирования систем обнаружения подвижных целей на динамичном пространственно-неоднородном фоне с использованием сверточных нейронных сетей

Проанализированы принципы построения проекторов инфракрасных сцен на основе микрозеркальных технологий как одних из наиболее перспективных устройств для генерации ИК изображений. Рассмотрены несколько типов проекторов, созданных на этих принципах, с точки зрения функциональности, минимизации шумов и спектрального диапазона. Обозначены проблемы, которые возникают при конструировании таких проекторов, базирующихся на DMD технологиях и предназначенных для генерации длинноволновых ИК изображений.

Разработаны принципы построения стенда для исследования систем обнаружения подвижных объектов [1,2]. Изображения объектов генерируются программой анимации 3DS моделей Aurora Animation 3D. Нестационарный пространственный фон создается генеративно-состязательной нейронной сетью. Изображения движущихся объектов налагаются на фон и подаются в проектор ИК сцен в спектральном диапазоне 3-15 мкм. Считывание ИК изображений производится тепловизором, сигналы с которого поступают в сверточную нейронную сеть, обученную на аугментированной выборке.

  1. Гибин И.С., Козик В.И., Нежевенко Е.С. Генерация изображений в инфракрасном диапазоне на основе микрозеркальных технологий // Автометрия. – 2020. – Т. 56, № 1. – С. 3-12.
  2. Гибин И.С., Котляр П.Е., Нежевенко Е.С., Козик В.И. Система имитации обстановки инфракрасного диапазона. Патент на изобретение № 2713614. Опубликовано 05.02.2020. Бюллетень изобретений №4.

Нейросетевая классификация  гиперспектральных изображений на основе преобразования Гильберта-Хуанга

 

Разработан метод классификации изображений на основе преобразования Гильберта-Хуанга (Hilbert-HuangTransformation, HHT) главных компонент распознаваемых изображений. В основе этого преобразования лежит предположение, что любые данные состоят из разнообразных внутренних видов колебаний, наложенных одно на другое, причем разложение, в отличие от Фурье анализа, ведется только по тем колебаниям (т.н. эмпирическим модам), которые присутствуют в анализируемом изображении. Завершающим шагом HHT является преобразование Гильберта, возможность которого определяется тем, что эмпирические моды, полученные в ходе разложения, являются аналитическими сигналами. Это преобразование позволяет выделить такие признаки, как мгновенные частоты и амплитуды каждой моды. Описанное выше преобразование применялось к главным компонентам изображений.

Используя эти признаки, проведены эксперименты по определению вероятностей правильной классификации гиперспектральных изображений (ГСИ). Для экспериментального исследования был выбран один из широко известных тестовых фрагментов ГСИ, предлагаемых в открытом пакете MultiSpec. Обучающая выборка формировалась путем маршрутной съемки. Затем этот фрагмент был преобразован к главным компонентам, которые были разложены на эмпирические моды. Результат этих преобразований представлен на рис.1. Каждая строка – это главная компонента (первый фрагмент) и 5 ее эмпирических мод.

моды

 Рис.1 Главные компоненты и их 5 эмпирических мод

Классификация проводилась в нейросетевом пакете программы STATSOFT. Обучение проводилось в следующих нейронных сетях: линейная сеть, многослойный персептрон, сети на основе радиально-базисных функций (RBF сети) с различным количеством элементов. Наилучшие результаты обучения и классификации были получены в RBFсети. При использовании пространственной информации - эмпирических мод - вероятность распознавания: на обучающей выборке  Роб=0,997, на тестовой - РТ=0,993. Это очень высокие вероятности распознавания, откуда следует, что преобразование Гильберта-Хуанга в сочетании с главными компонентами – весьма эффективное преобразование ГСИ с точки зрения классификации. 

  1. Нежевенко Е.С., Феоктистов А.С. Исследование эффективности нейросетевой классификации гиперспектральных изображений с использованием преобразования    Гильберта – Хуанга // Сборник статей по материалам международного научного конгресса «Интерэкспо Гео-Сибирь» том 1, Новосибирск, 18-22 апреля 2016, стр.60-64
  2. Нежевенко Е.С. Феоктистов А.С. Преобразование Гильберта-Хуанга двумерных изображений и использование его для выделения текстурных признаков //Материалы международной научной конференции «Региональные проблемы дистанционного зондирования Земли» Новосибирск, 2014, с.204-207
  3. Дашевский О. Ю., Нежевенко Е. С. Классификация  гиперспектральных изображений с помощью нейронных сетей с бинарными и многоуровневыми нейронами// Сборник статей по материалам международного научного конгресса «Интерэкспо Гео-Сибирь» том 4, №2, Новосибирск, апрель, 2015,  стр.62-66
  4. Нежевенко Е.С., Феоктистов А.С. Классификация  гиперспектральных изображений с помощью Преобразования Гильберта-Хуанга// Сборник статей по материалам международного научного конгресса «Интерэкспо Гео-Сибирь» том 4, №2, Новосибирск, апрель, 2015,  стр.23-27
  5. Нежевенко Е.С., Феоктистов А.С. Исследование эффективности нейросетевой классификации гиперспектральных изображений с использованием преобразования    Гильберта – Хуанга // Сборник статей по материалам международного научного конгресса «Интерэкспо Гео-Сибирь» том 1, Новосибирск, 18-22 апреля 2016г.,  стр. 60-64.
  6. Нежевенко Е.С., Феоктистов А.С., Дашевский О.Ю. Нейросетевая классификация гиперспектральных изображений на основе преобразования Гильберта – Хуанга // Автометрия. 2017. Т. 53, № 2. С. 79-85.

Оперативное прогнозирование пространственно распределенных динамических процессов на поверхности земли на основе усвоения данных

Разработан метод моделирования динамических процессов на поверхности Земли в условиях априорной неопределенности. Усвоение данных обеспечивается обучением рекуррентной нейронной сети, причем обучение происходит путем сравнения прогноза распространения процесса с помощью компьютерного моделирования и реального наблюдения области распространения. Поскольку этот метод предполагается использовать в оперативной обстановке, для ускорения процесса усвоения данных, реализуемого путем обучения нейронной сети, используется фильтр Калмана. Предложенный метод опробован на нескольких видах динамических процессов, таких как лесные пожары, наводнения и др. и для каждого из процессов показал хорошие результаты. Большим плюсом является то, что данный метод может быть использован совместно с любой математической моделью, описывающей процесс и служит для ее уточнения путем усвоения данных, что практически во всех случаях повышает точность моделирования. На рис.1 представлено окно моделирования, результаты моделирования процессов, проведенных с помощью рекурентных нейронных сетей показаны: на рис.2 - развитие пожара (с учетом ветра и рельефа), на рис.3 - наводнение (с учетом рельефа), на рис.4 - разлив нефтяного пятна (с учетом течения и ветра).

15-1 1

Рис.1 Главное окно программы моделирования

15-1 2

Рис.2 Моделирование развития пожара

15-1 3

Рис.3 Моделирование затопления рельефной местности

15-1 4

Рис.4 Моделирование растекания нефтяного пятна

1. Козик В.И., Нежевенко Е.С., Феоктистов А.С. Адаптивное прогнозирование развития лесных пожаров с использованием рекуррентных нейронных сетей// Автометрия, 2013, т. 49, № 3, с.44-56
2. Козик В.И., Нежевенко Е.С., Феоктистов А.С. Исследование метода адаптивного прогнозирования развития лесных пожаров на основе рекуррентных нейронных сетей// Автометрия, 2014, т. 50, № 4. С. 88-95
3. Нежевенко Е.С., Козик В.И., Феоктистов А.С. Прогнозирование развития лесных пожаров на основе аэрокосмического мониторинга// Образовательные ресурсы и технологии, 2014'1(4) с.377-384
4. Феоктистов А.С., Нежевенко Е.С. Оперативное прогнозирование пространственно распределенных динамических процессов на поверхности Земли на основе усвоения данных // Вестник Новосибирского государственного университета. Серия: Информационные технологии. - 2015. - Т. 13. - № 2. - С. 103-115.

 

Восстановление траектории движущегося объекта в сейсмической системе обнаружения при ограниченном количестве датчиков

Исследованы методы определения траектории движущегося объекта в сейсмической системе обнаружения, основанные на использовании фильтра Калмана, расширенного фильтра Калмана и фильтра частиц [1, 2]. Показано, что расширенный фильтр Калмана и фильтр частиц обеспечивают существенное уточнение траектории (рис. 1).

15 1-p4 pic1s

Рис. 1. Определение траектории объекта по сигналам двух датчиков при пересечении периметра

Разработан метод нахождения траекторий нескольких объектов антенной из двух сейсмических датчиков (рис. 2, 3). В основе метода - синтез многоэлементной антенны из двух датчиков [3] (этот метод применялся в гидроакустике, его вариант представлен на настоящем сайте, однако в сейсмике он применен впервые). Синтез антенны производится путем использования широкополосности сигнала – полоса частот разбивается на несколько участков, каждому из которых соответствует виртуальный датчик. 

·15 1-p4 pic2s-v2····

Рис. 2. Пеленгация двумя датчиками одного объекта (достаточно высокая точность)
и двух (антенна пеленгует то один, то другой объект)
 

·15 1-p4 pic3s····

Рис. 3. Результаты модельной и реальной пеленгации двух объектов виртуальной 16-элементной антенной,
синтезированной из двух датчиков (траектории объектов очень четко разделяются)

 

  1. Алямкин С.А., Нежевенко Е.С. Восстановление траектории движущегося объекта в сейсмической системе обнаружения при ограниченном количестве датчиков // Автоматика и телемеханика, 2014, № 2. С. 31-39.
  2. Алямкин С.А., Нежевенко Е.С. Сравнительный анализ эффективностей фильтра Калмана и фильтра частиц при решении задачи сопровождения объекта в сейсмической системе обнаружения // Автометрия, 2014, т. 50, № 1. С. 66-73.
  3. Алямкин С.А. Нежевенко Е.С. Сопровождение нескольких объектов в сейсмической системе обнаружения // Автометрия, 2013, т. 49, № 2. С. 49-56.

 

Программное обеспечение для реализации нейронной сети с комплекснозначными нейронами

Предложено для контролируемой классификации изображений использовать нейронные сети с комплекснозначными нейронами (MLMVN).

Сети из комплекснозначных нейронов имеют следующие преимущества:

  1. Способность одного нейрона к моделированию зависимости между входными и выходным данными выше, чем у обычного нейрона с логистической функцией активации.
  2. Существенно более простой алгоритм обучения. Для обучения не требуется расчет производных, более того, обучение вообще не является оптимизационной задачей. Как правило, обучение такой сети происходит за гораздо более короткое время, чем у классической сети.
  3. В отличие от логистической функции активации, имеющей лишь два различных значения в дискретном случае, комплекснозначные нейроны имеют большую гибкость, позволяя моделировать задачи классификации более естественным образом.

Программа для реализации MLMVN была реализована на языке C++; для убыстрения работы использованы расширения OpenMP. Код библиотеки, реализующей работу с сетью MLMVN и ее обучение, размещен в сети Интернет [1]

Эффективность разработанных программно-алгоритмических средств продемонстрирована на примере классификации гиперспектрального изображения Stanford Tower (рис.1). На нем были выделены 11 классов пикселов и несколько областей, соответствующих этим классам (классы выделены разным цветом).

Рис.1 – RGB композит исходного изображения

Общая выборка состояла из 45177 пикселов, каждому из которых соответствовало 148 спектральных коэффициентов. На обучающей выборке размером 1100 (по 100 элементов на каждый класс) сети понадобилось около 680 итераций (каждая итерация предполагает пробег и коррекцию весов для каждого элемента выборки) для достижения показателя корректной классификации 99,00 % (11 ошибок на всю выборку). Само обучение заняло около 6 минут (компьютер с процессором AMD Phenom 9850).

 

· · · ··

Рис.2 – Зависимость эффективности классификации от числа итераций

На рис.2 показана зависимость процента верной классификации от номера итерации. Красным цветом обозначена обучающая выборка, зеленым - контрольная.

Обучение остановилось, когда обучающая выборка была распознана на 100 %. В контрольной на этот момент показатель был 85,2 %. Максимум у контрольной выборки составил 87,7 %.

  1. https://github.com/be9/mlmvn

Адаптивное прогнозирование пространственно распределенных динамических процессов

Для краткосрочного прогнозирования пожаров на поверхности Земли, разработан нейросетевой метод, основанный на использовании радиально-базисных функций. При этом описание распространения пожара осуществляется с применением модели Ротермела. Коррекция модели выполняется на основе сравнения данных дистанционного зондирования Земли, и вектора состояния,  полученного в результате моделирования. Произведена оценка времени прогнозирования «простого» обучения и обучения с помощью Калмановской фильтрации. Показано, что до определенного количества лучей, на которых располагаются нейроны, моделирующие пожар, целесообразно использовать фильтр Калмана, а при превышении этого количества – «простое» обучение (рис. 1-2).

окно

Рис. 1. Блок-схема неполносвязной рекуррентной нейронной сети, моделирующей пожар

Рис. 2. Главное окно программы моделирования пожара

   
  1. Нежевенко Е.С., Козик В.И., Феоктистов А.С. Адаптивное прогнозирование развития динамических процессов на поверхности Земли с использованием рекуррентных нейронных сетей // Сборник трудов международной конференции «Математические и информационные технологии, MIT-2011» (Врнячка Баня, Сербия, 27–31 августа 2011 г., Будва, Черногория, 31 августа – 5 сентября 2011 г.), Белград, 2012. С. 226-231.
  2. Козик В.И., Нежевенко Е.С., Феоктистов А.С. Нейросетевой метод прогнозирования развития динамических процессов на поверхности Земли // Тезисы XIV Российской конференции с международным участием «Распределенные информационные и вычислительные ресурсы» (DICR-2012) (г. Новосибирск, Россия, 26‑30 ноября 2012). Новосибирск, 2012.
  3. Козик В.И., Нежевенко Е.С., Феоктистов А.С. Адаптивное прогнозирование развития лесных пожаров на основе рекуррентных нейронных сетей // Автометрия, 2013. Т. 49, №3. С. 44-55.

 

Обработка гидроакустических сигналов с буксируемых антенн с синтезированной апертурой

В результате сравнительного анализа методов наблюдения подводной обстановки и определения координат морских объектов показано, что при использовании авиационных гидроакустических систем предпочтение следует отдать системам с синтезированной апертурой.

syntez

Рис. 1. Принцип синтезирования.
За счет движения длина синтезированной антенны может быть в десятки раз больше, чем длина реальной антенны.

Разработан и создан базовый исследовательский макет для численного моделирования синтеза апертуры в гидроакустике. Исследованы методы подавления нестационарности звуковых полей, а также эффективность различных алгоритмов синтезирования апертуры при заданных свойствах гидроакустических целей, среды распространения акустических сигналов и параметров акустических приемников.

При обработке реальных широкополосных сигналов показана эффективность процедуры синтезирования апертуры при пассивной гидролокации с помощью алгоритма ЕТАМ. Установлено, что при уменьшении исходной антенны в два раза пеленгация цели осуществляется практически на том же уровне, что и с целой антенной.

Предложен и исследован алгоритм синтезирования ТЕТАМ (Time ETAM), позволяющий, в отличие от известных, пеленговать одновременно несколько источников с различной частотой.
  1. Нежевенко Е.С., Сотников А.А. Адаптивное моделирование в задачах первичной обработки гидроакустических сигналов // Автометрия, 2004, т. 40, № 4. С. 33‑43.
  2. Дашевский О.Ю., Нежевенко Е.С. Исследование эффективности программно-алгоритмических средств синтезирования апертуры в гидролокации на тестовых и реальных сигналах // Автометрия, 2009, № 5. С. 70‑81.
  3. Дашевский О.Ю., Нежевенко Е.С. Методы апертурного синтеза гидроакустических антенн в пассивном режиме и их испытание на тестовых и реальных сигналах // Фундаментальная и прикладная гидрофизика. 2010, № 3 (9). С. 72-85.
  4. Дашевский О.Ю., Нежевенко Е.С., Чулков В.Л. Апертурный синтез гидроакустических антенн – основа мобильных гидроакустических систем наблюдения // Сборник научных трудов «Фундаментальная и прикладная гидрофизика», 2011, т. 4, № 3. С. 65-77.