Модуль цифровой обработки ИК-изображений

с матричных фотоприемных устройств

Составной частью современного тепловизионного прибора является модуль цифровой обработки, обеспечивающий обработку в реальном масштабе времени потока информации от тепловизионного приемника, формирование тепловизионного растра заданного формата и получения качественного изображения в результате обработки тепловизионного растра. Кроме того, модуль цифровой обработки обеспечивает отработку команд оператора, формирование и передачу сигналов управления.

Под цифровой обработкой изображения в реальном масштабе времени обычно подразумевается обработка очередного накопленного кадра за время накопления следующего кадра, то есть с задержкой на кадр. При формировании стандартного телевизионного изображения 25 кадров в секунду располагаемое время обработки кадра составляет 40 мс.

С учетом вычислительной сложности алгоритмов обработки изображения и большого количества обрабатываемых пикселей такое располагаемое время обработки кадра определяет весьма жесткие требования к модулю цифровой обработки в целом и к процессору как его главной составной части. Важную роль при этом играет выбор рациональной структуры модуля цифровой обработки изображения для обработки кадров разных размеров. Из всего многообразия форматов кадра здесь рассматривается три:

• «малый» — 128 строк х 128 столбцов (16 384 элемента);
• «средний» — 240 строк х 320 столбцов (76 800 элементов);
• «большой» — 512 строк х 621 столбец (317 952 элемента).

О целесообразности использования процессора Л1879ВM1 для обработки изображений уже говорилось в журнале ранее [1], там же был дан пример реализации блока электронной обработки с использованием этого процессора. В настоящей работе развиваются вопросы цифровой обработки изображений.

Основные задачи, решаемые при обработке изображений ИК-диапазона

Наряду с традиционными задачами, решаемымипри обработке изображения (улучшение визуального качества изображения путем поэлементного преобразования, фильтрация изображения и др. [2, 3]) при обработке изображений ИК-диапазона, получаемых от матричного фотоприемного устройства (МФПУ), необходимо предварительно произвести калибровку системы формирования видеосигнала:

• определение кодов для компенсации пьедестальных напряжений;
• определение поправочных коэффициентов для компенсации постоянной составляющей элементов МФПУ;
• определение поправочных коэффициентов для учета разброса элементов МФПУ по чувствительности;
• определение неисправных фоточувствительных элементов матрицы.

Калибровка производится не в реальновременном режиме по команде оператора, и ее результаты позволяют выравнивать сигналы от фоточувствительных элементов матрицы, получаемые при равномерной засветке входного зрачка при разных температурах сцены, что в результате позволяет получить изображение удовлетворительного качества даже при сравнительно большом разбросе вольтовой чувствительности и большом относительном числе неисправных фоточувствительных элементов.

В штатном режиме обработки изображения в реальном масштабе времени решаются следующие задачи:

• компенсация постоянной составляющей и разброса элементов МФПУ по чувствительности;
• интерполяция или замена отсчетов неисправных элементов МФПУ;
• накопление кадров (фильтрацию с помощью инерционного звена);
• обеспечение работы АРУ:
  • определение уровня серого и коэффициента передачи с использованием фоно-целевой обстановки по всему кадру или внутри «окна» в центре кадра;
  • коррекция кадра с использованием текущих оценок уровня серого и коэффициента передачи;
• обеспечение ручной регулировки цифровым способом усиления и уровня видеосигнала (контрастности и яркости);
• преобразование изображения в черно-белые тона:
  • построение гистограммы кадра;
  • построение таблиц кодирования изображения в черно-белые тона;
  • кодирование изображения в черно-белые тона с возможным преобразованием позитивного изображения в негативное;
• преобразование изображения в условные цвета;
  • построение гистограммы кадра;
  • построение таблиц кодирования изображения в условные цвета;
  • кодирование изображения в условные цвета с возможным преобразованием «позитивного» изображения в «негативное»;
• выдачу символьной информации (в том числе даты и времени);
• коррекция разрядности выходных данных (преобразование 16-битного кода в 8-битный) с возможным преобразованием позитивного изображения в негативное и заполнение видео ОЗУ.

Все перечисленные задачи должны решаться за время накопления очередного кадра, то есть за 40 мс.

Оценка времени решения задач цифровой обработки ИК-изображений

Время решения перечисленных выше задач зависит от вычислительной сложности реализуемых алгоритмов, архитектуры и производительности процессора, а также от формата тепловизионного растра (изображения). Использующийся в данном случае отечественный процессор сигнальной обработки Л1879ВМ1 имеет ряд преимуществ перед другими процессорами, применяемыми для цифровой обработки изображений, главным из которых является наличие векторного узла.

Архитектура векторного узла позволяет за один такт производить обработку целиком 64-разрядного слова, представляющего собой вектор с элементами переменной разрядности от 1 до 64. Каждый кадр изображения хранится в памяти в виде массива 64-разрядных блоков данных, в которые упакованы 16-разрядные (или 8-разрядные) коды элементов кадра.Таким образом, процессор Л1879ВМ1 позволяет за один такт обрабатывать четыре 16-битных или восемь 8-битных элементов.

Кроме того, векторный узел процессора Л1879ВМ1 имеет аппаратную поддержку умножения вектора на матрицу или матрицы на вектор и аппаратную реализацию функции насыщения с программируемым порогом насыщения, которые широко используются при решении задач цифровой обработки изображения.

Тем не менее некоторые из перечисленных выше задач решаются на процессоре продолжительное время, что затрудняет обработку изображений в реальном масштабе времени. В табл. 1 приведены оценки времени решения (в мс) реальновременных задач обработки изображения на процессоре Л1879ВМ1 для форматов кадра 128.128, 240.320 и 512.621, полученные путем замеров времени выполнения или на реальных модулях цифровой обработки, или на их макетах (моделях).

Из перечисленных выше задач на процессоре Л1879ВМ1 чрезмерно долго выполняются процедуры 1, 6–11 (решение задач 7, 8, 10 проводится с периодом 1–2 с и вычисления могут выполняться в течение 25–50 тактов работы программы), поэтому решение всех этих задач в реальном времени, даже при наращивании числа используемых процессоров, затруднительно. В связи с этим целесообразно рассмотреть вопрос о включении в состав блока электронной обработки, наряду с процессором, дополнительных аппаратных средств, например программируемых логических интегральных схем (ПЛИС).

Выигрыш во времени решения задач на программируемых логических интегральных схемах достигается в том случае, когда задача решается «на проходе», то есть без предварительной обработки входных данных. При этом время обработки составляет 1 мкс независимо от формата изображения.

Рациональная структура блока цифровой обработки

Возможны различные варианты построения блока цифровой обработки:

• в первом используется один или несколько процессоров;
• во втором часть обработки осуществляется на процессоре, а другая часть обработки проводится на программируемых логических интегральных схемах (ПЛИС);
• в третьем вся обработка проводится на ПЛИС.

У каждого из этих вариантов есть свои достоинства и недостатки. Первый вариант годится для обработки лишь кадров малого размера. Третий вариант сложен в реализации, поскольку на ПЛИС трудно реализовать:

• сложные функции, присутствующие в функциональных алгоритмах;
• алгоритмы, имеющие разные временные диаграммы работы;
• алгоритмы, имеющие сложную логику;
• управляющие алгоритмы.

Наиболее универсальным является второй вариант, при котором на ПЛИС переносится решение задач 1, 2, 5, 6, 9, 11, требующих больших вычислительных затрат при реализации их на процессоре. В то же время на процессоре решаются задачи 3, 4, 7, 8, 10 и управляющая программа, которые трудно реализовать на ПЛИС. Такая структура блока цифровой обработки позволяет решать в реальном времени перечисленные выше задачи, при этом наряду с ПЛИС используется:

• один процессор Л1879ВМ1 для обработки «малого» кадра;
• один-два процессора Л1879ВМ1 для обработки «среднего» кадра;
• три-четыре процессора Л1879ВМ1 для обработки «большого» кадра.

В настоящее время в НТЦ «Модуль» завершается разработка модифицированного процессора нового поколения Л1879ВМ2Т. При использовании этого процессора для обработки изображений необходимое число процессоров сократится в 3–4 раза.

Выводы

Анализ вычислительной сложности задач, решаемых при обработке ИК-изображений, а также особенностей алгоритмов обработки позволил выбрать рациональную структуру блока цифровой обработки, при которой одни задачи решаются на процессоре Л1879ВМ1 (или на процессоре нового поколения Л1879ВМ2Т), а решение других реализуется на программируемых логических интегральных схемах. Для обеспечения обработки изображений среднего и большого формата в реальном времени необходимо использовать 2-4 процессора Л1879ВМ1.

Таблица 1

Литература

1. Груздев М. В. Цифровой сигнальный процессор тепловизионного канала на базе процессора Л1879ВМ1 (NM6403) // Компоненты и технологии. 2000. No 8.
2. Прэтт У. Цифровая обработка изображений. Т. 1–2. М.: Мир. 1982.
3. Ярославский Л. П. Введение в цифровую обработку изображений. М.: Сов. радио.

Юрий Борисов,
Анатолий Грошев,
Виктор Михайлов,
Александр Петровичев,
Борис Сехно,
Петр Яценко

Статьи по: ARM PIC AVR MSP430, DSP, RF компоненты, Преобразование и коммутация речевых сигналов, Аналоговая техника, ADC, DAC, PLD, FPGA, MOSFET, IGBT, Дискретные полупрoводниковые приборы. Sensor, Проектирование и технология, LCD, LCM, LED. Оптоэлектроника и ВОЛС, Дистрибуция электронных компонентов, Оборудование и измерительная техника, Пассивные элементы и коммутационные устройства, Системы идентификации и защиты информации, Корпуса, Печатные платы