Научные и прикладные результаты лаборатории 102023Разработка методов компенсации изменений пространственно-нестационарного фона в последовательности изображений посредством локальных геометрических преобразований. Разработка метода формирования локальных моделей пространственно-нестационарного фона на основе анализа текущих внутрикадровых и межкадровых связей в последовательности изображений Разработан метод компенсации изменений пространственно-нестационарного фона в последовательности изображений с помощью локальных геометрических преобразований, основанный на выявлении межкадровых связей и позволяющий приводить все изображения последовательности в единую систему координат. Предложен и реализован в ПО способ измерения расстояний до объектов по последовательностям снимков, полученным с разных точек съемки некалиброванной камерой с малым углом зрения, использующий приведение изображений к общей системе координат для измерения углов между линиями визирования объектов и точек съемки. На рисунке приведены панорамы участка городской застройки с помеченными точками съемки и объектами, построенные по последовательностям кадров, снятых с левой (вверху), правой (в середине) и контрольной (внизу) точек, а в таблице 1 – расстояния, измеренные по крупномасштабным картам участка и вычисленные предлагаемым способом. Панорамы, содержащие объекты и точки съемки Таблица. Расстояния от точек съемки до объектов
Относительные ошибки оценок расстояний, полученных по сериям кадров, по порядку величины совпадают с ошибками непосредственных измерений по карте и не превышают 3%, что для многих практических задач является вполне приемлемым значением. Исследованы два способа формирования локальных моделей пространственно-нестационарного фона на основе анализа внутрикадровых связей: в виде детерминированных функций с оцениваемыми параметрами и в виде реализации стационарного случайного процесса (ССП). Разработана методика оценивания параметров и построения моделей посредством линейной фильтрации подлежащего анализу изображения. На изображениях с двумя различными типами пространственно-нестационарных фонов, содержащих множество малоразмерных объектов различной формы и амплитуды, выполнено численное моделирование подавления фона и обнаружения объектов с применением двух детерминированных и одной ССП модели. Продемонстрировано преимущество последней при обнаружении слабых объектов в условиях обеспечения малой (<10-4) вероятности ложной тревоги.
2022Исследование методов обнаружения и сопровождения динамических объектов переменной яркости в последовательности изображений с пространственно-нестационарным фоном В системах видеонаблюдения, использующих матричные фотоприемники (МФП), характерные размеры фоточувствительных элементов (ФЧЭ) приемника сравнимы с размерами функции рассеяния точки (ФРТ) оптики, вследствие чего изображение удаленного объекта в плоскости МФП покрывает площадь всего в несколько пикселей, а его форма и яркость существенно зависят от положения проекции объекта относительно решетки пикселей, жестко связанной с координатами ФЧЭ (рисунок 1). Рисунок 1. Зависимость изображений малоразмерного объекта от его положения («тянучки» слева обусловлены подавлением низкочастотной составляющей в электронном тракте фотоприемника) Предложен метод реализации многоканального линейного фильтра, учитывающий изменение формы и амплитуды изображений малоразмерных объектов при их движении. Метод основан на разложении изображения объекта на ортогональные составляющие, совокупность которых определяет яркость объекта и его положение относительно решетки ФЧЭ. Если фон представляет собой пространственно-нестационарный медленно изменяющийся во времени процесс, на предварительной стадии обнаружения применяется процедура подавления фона, разработанная ранее (2019, 2020 гг.). На рисунке 2 показаны: а – три «главных» фильтра, полученные разложением 169 экспериментальных изображений объектов, равномерно смещавшихся в пределах пикселя; б – векторы, полученные трехканальной фильтрацией изображений, приведенных на рисунке 1, и проекции их вершин на плоскость XY, характеризующие дробные координаты объекта; в – зависимость ошибок оценивания координат от отношения шум/сигнал в изображениях объекта.
Рисунок 2. Применение трехканальной фильтрации для оценивания дробных координат объекта
2021Разработка математической имитационной модели двухкомпонентного пространственно-нестационарного фона с заданными статистическими характеристиками компонент Разработана модель динамического двухкомпонентного фона, каждая из компонент которого представляет собой случайную текстуру, определяемую своей автокорреляционной функцией (АКФ). Согласно свойствам линейных преобразований случайных процессов, реализацию двумерного случайного процесса с заданной АКФ можно получить, пропустив реализацию двумерного белого шума через фильтр с частотной характеристикой, определяемой Фурье-образом. Изменяя реализации шума и параметры АКФ, можно моделировать фоны с различными статистическими свойствами. Размещение и соотношение компонент в кадре, реализующие пространственную нестационарность, обеспечивается бинарными масками, которые можно получить пороговым сечением функции, формируемой аналогично компонентам фона. Пример реализации двухкомпонентного фона приведен на рис. 1.
Рис.1. Реализация двухкомпонентного фона (слева) и АКФ светлой компоненты (справа)
2020
Исследование влияния пространственной неоднородности фотоприемника на качество подавления фона в задаче обнаружения малоразмерных объектов на пространственно-нестационарном фоне Предложен метод коррекции структурной помехи в паре кадров, отличающихся сдвигом фона, не требующий выравнивания чувствительности приемника посредством его предварительной калибровки. Учет полученной оценки при формировании разностного кадра позволяет многократно снизить остаточный фон, практически не ухудшая изображений объектов. На рисунке 1, а и б, приведены два кадра последовательности с пространственно-нестационарным фоном и слабоконтрастными подвижными объектами, сформированной сканирующим матричным ИК приемником, с неравномерной чувствительностью (СКО – 10% от среднего значения). Рисунки 1, в и г, демонстрируют результаты межкадровой обработки без (в) и с учетом (г) неравномерности чувствительности, оцененной предлагаемым способом. СКО фона в исходных кадрах – 53.3, СКО остаточного фона без учета неравномерности – 29.9, с учетом неравномерности – 5.0. Среднее значение амплитуды объектов ~27, уровень случайного шума фотоприемника ~ 2.5. Все данные представлены в одинаковых единицах. Рис. 1. Коррекция неравномерности чувствительности матричного фотоприемника без предварительной калибровки Оценивание движения фона и объектов в последовательности изображений, в частности, выполняется посредством сопоставления особых точек – локальных фрагментов изображений с устойчивыми к яркостным и геометрическим преобразованиям характеристиками.
Сравнение и статистические характеристики детекторов особых точек изображений
Предложен способ оценки качества детекторов/дескрипторов особых точек, основанный на анализе числа правильных и ложных соответствий в множестве пар тестовых изображений. Качество обнаружения истинных соответствий характеризуется распределением числа пар исходных и геометрически искаженных изображений по количеству найденных на них соответствий. Ложные соответствия представлены распределением пар случайно выбранных из тестового множества изображений по тому же параметру. Тестовым множеством в работе служит набор из 10000 изображений из базы MIRFLICKR (https://press.liacs.nl/mirflickr/), размер изображений ~ 400×400 пикселей, В качестве примера на рисунке 2 приведены указанные распределения для двух распространенных детекторов/дескрипторов: BRISK и AKAZE. По оси абсцисс указано количество соответствий на паре изображений, а по оси ординат – процент пар изображений из тестового множества. Рис.2. Распределение числа правильных и ложных соответствий для детекторов BRISK и AKAZE (слева – BRISK, справа – AKAZE) Синим цветом изображены графики числа правильных соответствий, красным – числа ложных. Пунктирными и сплошными линиями показаны графики для различных параметров детекторов. Из графиков видно, что только при корректно выбранных параметрах детекторов можно отличить пару искаженных изображений одной и той же сцены от пары случайно выбранных изображений. Предложенный способ позволяет выбрать правильные параметры детекторов/дескрипторов.
|
а | б | в |
Рис. 1. Искажения в изображениях, формируемых в режиме ВЗН фотоприемником с субматричной структурой при сканировании, обусловленные (а- несовпадением направления ВЗН-каналов и направления сканирования, б – взаимным влиянием соседних каналов, отклонением скорости сканирования от номинального значения)
Классификация типов поведения лабораторных животных
В рамках совместных с ИЦиГ СО РАН работ по анализу поведения лабораторных животных разработан классификатор поведения, использующий в качестве входных данных последовательности дальностных изображений. Проведено испытание работоспособности предложенного классификатора на модельных данных. В ходе испытания классификатор показал точность распознавания в 99% на 500 последовательностях, содержащих по 30 изображений.
1. В.Д. Бочков, Б.Н. Дражников, П.А. Кузнецов, К.В. Козлов, В.Н. Соляков. Особенности ФПУ с режимом ВЗН формата 1024x10 на основе КРТ. //Прикладная физика, 2014, №1, с. 58-61
2015
Программная модель оптико-электронной системы обнаружения малоразмерных объектов
Создана программная имитационная модель оптико-электронной системы обнаружения малоразмерных объектов. В модели реализованы:
- Генерация входных последовательностей изображений, содержащих малоразмерные динамические объекты и пространственно-неоднородный фон.
- Управление параметрами системы регистрации изображений, в частности: формой ФРТ и параметрами дисторсии оптической системы, топологией матричного фотоприемника, индивидуальными светосигнальными и шумовыми характеристиками фоточувствительных элементов (ФЧЭ) и их взаимным влиянием.
- Режимы сканирования и временной задержки-накопления.
Первичная обработка изображений, реализованная в модели, ориентирована на обнаружение малоразмерных объектов и обеспечивает выполнение:
- коррекции неоднородности характеристик ФЧЭ,
- оценивание статистических моментов фрагментов изображений,
- межкадровой обработки изображений с целью подавления фона,
- линейной фильтрации изображений и выделения объектов.
Получены оценки эффективности алгоритмов обнаружения малоразмерных подвижных объектов в последовательности изображений, содержащих пространственно-неоднородный фон, в зависимости от условий регистрации изображений. Аналитически и посредством имитационного моделирования получены оптимальные соотношения между параметрами оптики, фотоприемника, режима регистрации и алгоритмов обработки, обеспечивающие обнаружение объектов минимальной амплитуды с заданной вероятностью при заданной вероятности ложных тревог.