Подавление гауссовского шума в изображениях на основе анализа главных компонент и нелокальной обработки
На правах рукописи
Волохов Владимир Андреевич ПОДАВЛЕНИЕ ГАУССОВСКОГО ШУМА В ИЗОБРАЖЕНИЯХ НА ОСНОВЕ АНАЛИЗА ГЛАВНЫХ КОМПОНЕНТ И НЕЛОКАЛЬНОЙ ОБРАБОТКИ Специальность 05.12.04 Радиотехника, в том числе системы и устройства телевидения
Автореферат диссертации на соискание ученой степени кандидата технических наук
Владимир – 2012
Работа выполнена на кафедре динамики электронных систем Ярославского государственного университета им. П.Г. Демидова Научный руководитель доктор технических наук, доцент Приоров Андрей Леонидович
Официальные оппоненты: доктор технических наук, профессор Полушин Петр Алексеевич кандидат технических наук Меньшиков Борис Николаевич Ведущая организация ОАО «Ярославский радиозавод»
Защита диссертации состоится «7» июня 2012 г. в 14.00 часов на заседании диссертационного совета Д 212.025.04 при Владимирском государственном университете имени Александра Григорьевича и Николая Григорьевича Столетовых по адресу: 600000, г. Владимир, ул. Горького, д. 87, ВлГУ, корп. 3, ФРЭМТ, ауд.
301.
С диссертацией можно ознакомиться в библиотеке Владимирского государственного университета имени Александра Григорьевича и Николая Григорьевича Столетовых.
Автореферат разослан «3» мая 2012 г.
Отзывы на автореферат, заверенные печатью, просим направлять по адресу:
600000, г. Владимир, ул. Горького, д. 87, ВлГУ, корп. 3, ФРЭМТ.
Ученый секретарь диссертационного совета доктор технических наук, профессор А.Г. Самойлов
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы. На данный момент времени формирование цифровых изображений имеет множество различных приложений в науке, технике, медицине, а также в быту, например, в цифровых камерах и мобильных телефонах. Последнее связано с тем, что зрение является наиболее важным источником информации для человека. Поэтому на сегодняшний день развитию методов цифровой обработки изображений (ЦОИ) уделяется довольно большое внимание.
Известно, что типовые устройства формирования цифровых изображений содержат линзы и полупроводниковые сенсоры для захвата спроецированной сцены.
Необходимо отметить, что данные элементы вводят множество искажений, таких как геометрическая дисторсия, размытие и шум. Поэтому, для того чтобы получить высококачественные цифровые изображения, необходимо разрабатывать алгоритмы, позволяющие решать задачи подавления шумов, повышения резкости и цветовой коррекции, рассматриваемые в рамках области ЦОИ.
Основной вклад в области радиотехники настоящая диссертационная работа вносит в алгоритмы подавления шумов, в большей степени – аддитивного белого гауссовского шума (АБГШ), поэтому выделим несколько стандартных подходов, позволяющих решить задачу фильтрации АБГШ в цифровых изображениях:
алгоритмы локальной обработки;
алгоритмы нелокальной обработки;
алгоритмы поточечной обработки;
алгоритмы многоточечной обработки.
Данная классификация не является единственной и используется в настоящей работе для удобства анализа рассматриваемого материала. Каждый из указанных подходов к фильтрации цифровых изображений имеет определенные преимущества и недостатки, связанные с качеством восстановленных цифровых изображений и вычислительной стоимостью алгоритмов.
Отметим, что применение модели АБГШ в задаче фильтрации цифровых изображений можно объяснить с использованием статистической теории, одной из основных формулировок в которой является центральная предельная теорема. Она имеет важное практическое значение и особенно подходит для описания работы устройств, содержащих множество независимых источников аддитивного шума, каждый из которых имеет некоторое произвольное распределение, которое может быть неизвестным. В итоге сумма этих шумовых распределений наилучшим образом описывается гауссовским распределением. В частности, отметим, что АБГШ является хорошей моделью теплового шума, неизбежно возникающего в электронных устройствах, например, ПЗС- или КМОП-матрицах.
Анализ современной научно-технической литературы показывает, что одними из перспективных подходов восстановления цифровых изображений, искаженных АБГШ, являются методы, основанные на анализе главных компонент и методы, основанные на нелокальной обработке, а также методы, основанные на комбинированном использовании двух указанных подходов.
Вероятно, можно считать, что основные идеи реализации эффективного алгоритма фильтрации цифровых изображений на основе анализа главных компонент были заложены Мюрезаном (Muresan) и Парксом (Parks) в 2003 году. В его основе лежит поблочное представление изображения в области анализа главных компонент с последующей обработкой коэффициентов преобразования блоков, их обратным преобразованием в пространственную область и вложением в соответствующую позицию обработанного изображения. Особенностью алгоритма является возможность качественного сохранения локальных особенностей изображения, а также адаптивность к анализируемым данным.
Общие концепции нелокальной обработки были изложены в 2005 году Буадесом (Buades), Коллом (Coll) и Морелем (Morel). Основная идея данного подхода заключается в том, что формирование оценки пикселя исходного изображения осуществляется с использованием всех пикселей зашумленного изображения с учетом специальным образом рассчитанных весовых коэффициентов этих пикселей. Расчет коэффициентов происходит на основе сравнения подобности области квадратной формы, описанной вокруг оцениваемого пикселя, с областями, описанными вокруг анализируемых пикселей. Тем самым, подобные пиксельные окрестности дают большие веса, а сильно отличающиеся – малые, поэтому в итоговой оценке пикселя, одни анализируемые пиксели вносят больший, а другие меньший вклад. Необходимо отметить, что основным достоинством данного алгоритма является высокое качество сохраненных границ на цифровом изображении, а основным недостатком – высокая вычислительная сложность.
В силу эффективности методов фильтрации на базе анализа главных компонент и нелокальной обработки основное направление исследований для построения эффективных алгоритмов восстановления цифровых изображений в настоящей диссертационной работе было связано именно с этими подходами.
Дополнительно следует отметить, что в 2010 году Чаттерджи (Chatterjee) и Миланфар (Milanfar) показали, что теоретический предел восстановления различных цифровых изображений современными алгоритмами фильтрации на данный момент полностью не достигнут. Следовательно, задача дальнейшего улучшения методов подавления АБГШ на современном этапе развития ЦОИ является актуальной.
Цель работы. Основной целью работы является разработка и исследование новых алгоритмов шумоподавления на основе анализа главных компонент и нелокальной обработки для решения ряда задач ЦОИ в целях улучшения характеристик соответствующих радиотехнических устройств.
Для достижения указанной цели в диссертационной работе решаются следующие задачи:
разработка новых алгоритмов подавления АБГШ на цифровых изображениях;
изучение влияния параметров предложенных алгоритмов на качество восстановленных изображений;
многокритериальный анализ различных алгоритмов фильтрации, предназначенных для решения ряда практических задач в области ЦОИ;
расширение приложений практической применимости предложенных алгоритмов фильтрации цифровых изображений.
Методы исследования. При решении поставленных задач использовались современные методы ЦОИ, математического анализа, теории вероятностей, математической статистики, линейной алгебры. Широко использовались методы компьютерного моделирования в пакете MATLAB, а также методы объектно ориентированного программирования на языке C#.
Объектом исследования являются алгоритмы фильтрации, применяемые для подавления АБГШ в полутоновых и цветных изображениях.
Предметом исследований являются модификация, оптимизация и разработка алгоритмов шумоподавления на основе анализа главных компонент и нелокальной обработки.
Научная новизна. В рамках данной работы получены следующие новые научные результаты:
1. Предложена модификация алгоритма подавления АБГШ в полутоновых изображениях на основе анализа главных компонент.
2. Разработан и исследован последовательный алгоритм подавления АБГШ в полутоновых изображениях на основе анализа главных компонент и нелокальной обработки.
3. Предложен и исследован параллельный алгоритм подавления АБГШ в полутоновых изображениях на основе анализа главных компонент и нелокальной обработки.
Практическая значимость 1. Проведено многокритериальное сравнение работы большого числа алгоритмов восстановления цифровых изображений.
2. Предложены новые алгоритмы подавления АБГШ, превосходящие «классический» метод фильтрации изображений на основе анализа главных компонент по пиковому отношению сигнала к шуму (ПОСШ) и коэффициенту структурного подобия (КСП) в среднем на ~ 0,72 дБ и ~ 0,046, соответственно.
3. Расширены возможности практического применения предложенных алгоритмов на случай фильтрации цветных изображений, зашумленных АБГШ, фильтрации смешанных шумов, подавления артефактов блочности в сжатых алгоритмом JPEG изображениях.
4. Разработанные алгоритмы могут быть использованы в системах передачи мультимедийной информации, цифрового телевидения, радиолокации, связи, распознавания образов и слежения за объектами, а также в ряде других прикладных задач ЦОИ.
Результаты работы внедрены в соответствующие разработки ООО «А-ВИЖН» и ООО «Гипроприбор-Инвест» г. Ярославль. Отдельные результаты диссертационной работы внедрены в учебный процесс ЯрГУ в рамках дисциплин «Цифровая обработка изображений» и «Компьютерное зрение», а также в научно исследовательские работы при выполнении исследований в рамках грантов «Развитие теории цифровой обработки сигналов и изображений в технических системах» (грант РФФИ №06-08-00782, 2006–2008 гг.), «Развитие нелинейной теории обработки сигналов и изображений в радиотехнике и связи» (Программа «Развитие научного потенциала высшей школы (2009–2010 гг.)», №2.1.2/7067) и «Развитие нелинейной теории цифровой обработки сигналов и изображений в технических системах» (грант РФФИ №10-08-01186, 2010–2012 гг.). Результаты внедрения подтверждены соответствующими актами.
Достоверность материалов диссертационной работы подтверждена результатами компьютерного моделирования, демонстрирующими эффективность предложенных алгоритмов в задачах обработки полутоновых и цветных изображений, использованием адекватного математического аппарата и совпадением ряда результатов с результатами, известными из литературы.
Апробация работы. Результаты работы обсуждались на следующих научно технических семинарах и конференциях:
1. Юбилейной научно-технической конференции «Инновации в радиотехнических информационно-телекоммуникационных технологиях», Москва, 2006.
2. Восьмой – тринадцатой международной конференции и выставке «Цифровая обработка сигналов и ее применение», Москва, 2006–2011.
3. Шестьдесят второй – шестьдесят пятой научной сессии, посвященной Дню Радио, Москва, 2007–2010.
4. Пятнадцатой международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань, 2008.
5. Пятнадцатой международной научной конференции студентов, аспирантов и молодых ученых «ЛОМОНОСОВ», Москва, 2008.
6. Двадцатой и двадцать первой международной конференции по компьютерной графике и зрению «Графикон», Санкт-Петербург 2010;
Москва, 2011.
7. Международной научно-практической конференции студентов и молодых ученых «Молодежь и наука: модернизация и инновационное развитие страны», Пенза, 2011.
8. Седьмой и девятой международной научно-технической конференции «Перспективные технологии в средствах передачи информации», Владимир, 2007;
Суздаль, 2011.
9. Ярославских областных конференциях молодых ученых и аспирантов.
Публикации. По теме диссертации опубликована 21 научная работа, из них 5 статей в рецензируемых журналах, в том числе три статьи в журналах, рекомендованных ВАК, и 14 докладов на научных конференциях всероссийского и международного уровней.
Структура и объем работы. Диссертация состоит из введения, трех глав, заключения, списка использованных источников, содержащего 141 наименование, и шести приложений. Она изложена на 186 страницах машинописного текста, содержит 52 рисунка и 19 таблиц.
Основные научные положения и результаты, выносимые на защиту:
модификация алгоритма подавления АБГШ в полутоновых изображениях на основе анализа главных компонент;
последовательный алгоритм подавления АБГШ в полутоновых изображениях на основе анализа главных компонент и нелокальной обработки;
параллельный алгоритм подавления АБГШ в полутоновых изображениях на основе анализа главных компонент и нелокальной обработки.
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обоснована актуальность выбранной темы, сформулированы цель и задачи исследования, изложены основные положения, выносимые на защиту, показаны научная новизна и практическая значимость работы.
В первой главе представлен широкий обзор алгоритмов восстановления цифровых изображений, зашумленных АБГШ. Приведена классификация рассматриваемых алгоритмов шумоподавления, соответствующая текущему развитию области фильтрации цифровых изображений и позволяющая разделить современные методы фильтрации на алгоритмы локальной и нелокальной, поточечной и многоточечной обработки цифровых изображений.
Приведены оригинальные (численные – ПОСШ, КСП и визуальные) результаты сравнения алгоритмов фильтрации цифровых изображений, зашумленных АБГШ. Установлено, что наилучшими показателями численного и визуального качества обработанных изображений обладает алгоритм восстановления цифровых данных на основе блокосогласования и трехмерной фильтрации, предложенный Дабовым (Dabov) и его коллегами в 2007 году. Однако в то же время, как показывает анализ научных работ, данный алгоритм обладает достаточно высокой вычислительной стоимостью и сложностью реализации.
Поэтому использование данного алгоритма с точки зрения практических приложений не является единственно возможным.
Таким образом, анализ известных алгоритмов подавления АБГШ на цифровых изображениях позволил сформулировать следующие основные задачи диссертации:
разработка и анализ модификации алгоритма подавления АБГШ в полутоновых изображениях на основе анализа главных компонент;
разработка и анализ последовательного и параллельного алгоритмов подавления АБГШ в полутоновых изображениях на основе анализа главных компонент и нелокальной обработки;
расширение возможности практического применения предложенных алгоритмов шумоподавления на случай фильтрации цветных изображений, зашумленных АБГШ, фильтрации смешанных шумов, подавления артефактов блочности в сжатых алгоритмом JPEG изображениях.
Решение указанных задач рассмотрено в следующих двух главах диссертации.
Во второй главе исследуются возможности модификации алгоритма подавления шума в цифровых изображениях на основе анализа главных компонент (АГК).
Блок-схема предлагаемой модификации алгоритма фильтрации цифровых изображений на основе анализа главных компонент представлена на рис. 1. В основе данной модификации лежит «классический» метод шумоподавления на основе анализа главных компонент, предложенный Мюрезаном (Muresan) и Парксом (Parks) в 2003 году.
Предполагая, что анализируемое цифровое изображение x искажено АБГШ n с нулевым математическим ожиданием и дисперсией 2, перечислим основные шаги работы рассматриваемого алгоритма фильтрации.
I. Первый этап обработки 1. Оцениваем дисперсию шума 2 во входном изображении y x n. Для этого можно воспользоваться достаточно распространенной формулой из теории M оценок:
Медиана ( ДВК 1 ). (1) 0, Здесь ДВК1 – абсолютные значения диагональных вейвлет-коэффициентов первого уровня вейвлет-разложения.
Зашумленное Первая «грубая» оценка изображение исходного изображения Второй этап Первый этап обработки АГК и Группировка Обратный фильтрация пикселей АГК обработки АГК и эмпир.
АГК и Группировка Обратный фильтр Винера фильтрация пикселей АГК Вторая «точная» Зашумленное Первая «грубая» оценка исходного изображение оценка исходного изображения изображения Рис. 1. Схема фильтрации цифрового изображения на основе предложенного алгоритма 2. Разбиваем входное зашумленное изображение на совокупность перекрывающихся блоков. Внутри каждого из них можно выделить: область обучения, область фильтрации и область наложения блоков. Размеры рассматриваемых областей могут варьироваться.
3. Внутри области обучения выбираем всевозможные блоки размера l I l I (векторы обучения). Последние, будучи представленными в виде векторов-столбцов длиной (l I ) 2 каждый, позволяют сформировать некоторую выборочную матрицу S I размера (l I ) 2 n I, столбцами которой и являются рассматриваемые векторы y столбцы. Здесь n I – число векторов обучения, найденных в области обучения.
4. На основе матрицы S I, предварительно центрировав ее, составляем y I ковариационную матрицу QI I. Здесь Sy – центрированная выборочная матрица Sy S I. Для матрицы QI I находим собственные числа и соответствующие им y Sy I собственные векторы (главные компоненты данных, заключенных в матрице Sy ).
Итогом данного этапа является построение матрицы ортогонального I преобразования Py.
i 1, 2,, (l I ) 2 j 1, 2,, n I 5. Для всех и находим проекции (Y I )ij (коэффициенты преобразования) множества векторов, заключенных в I матрице Sy, на множество собственных векторов, найденных на предыдущем шаге:
n (Y I )1 (Y I ) (Y I ) (Y I ) n I (Y I ) (Y ) Y I Py S y II 2 2. (2) (Y I ) n (Y I )12 (Y I ) l l l j j j Здесь (Y I ) i ( X I ) i ( N I ) i (i-я проекция вектора j из матрицы Sy на множество I собственных векторов матрицы QI I ) представляет сумму i-й проекции вектора j Sy неискаженных данных и i-й проекции вектора j шума. Отметим, что в обозначениях выше черта над компонентой ( N I )ij не поставлена. Последнее связано с тем, что как для центрированной зашумляющей матрицы, так и для нецентрированной, проекции ( N I )ij будут одинаковы, поскольку рассматриваемая модель АБГШ имеет нулевое математическое ожидание.
6. Осуществляем обработку полученного множества проекций с использованием линейной среднеквадратической оценки:
i j j (X I )i (Y I ) i. (3) i Здесь 2 – дисперсия шума, а i – дисперсия i-й проекции векторов j 1, 2,, n неискаженных данных, которую можно найти с использованием оценки максимального правдоподобия:
1n Ij 2 i max 0, ((Y ) i ). (4) n j 1 7. На основе множества обработанных данных ( X I )ij восстанавливаем оценку S I матрицы незашумленных данных S I, а на основе последней – отдельную x x обработанную область на изображении. При этом, во-первых, восстанавливается область обучения путем вложения в нее, с учетом наложения, векторов обучения в соответствующие им пространственные позиции. Векторы обучения, находясь внутри матрицы S I в виде векторов-столбцов, снова были преобразованы в блоки x I I размера l l перед вложением в область обучения. Необходимо отметить, что область наложения векторов обучения усредняется с использованием арифметического усреднения. Во-вторых, после восстановления области обучения из нее выделяется область фильтрации меньших размеров.
Повторяя аналогичную операцию для остальных областей фильтрации, с учетом их наложения, можно обработать зашумленное изображение целиком и получить первичную «грубую» оценку x I неискаженного изображения x. При этом обработанные области фильтрации вкладываются в соответствующие пространственные позиции изображения x I, а их область наложения усредняется арифметически.
II. Второй этап обработки 1. Используя зашумленное изображение y, повторяем шаги 2–5, рассмотренные на первом этапе обработки. При этом устанавливаются другие размеры областей обучения, областей фильтрации и областей наложения, а также векторов обучения.
2. Осуществляем обработку полученного множества проекций с использованием следующего выражения:
(( X I )II )ij ( X II )ij (Y II )ij. (5) (( X I )II )ij j j j Здесь (Y II ) i ( X II ) i ( N II ) i II (i-я проекция вектора j из матрицы S y на множество собственных векторов матрицы QIIII ) представляет сумму i-й проекции Sy вектора j неискаженных данных и i-й проекции вектора j шума, а (( X I )II )ij ( X II )ij (( N I )II )ij (i-я проекция вектора j из матрицы S III на множество x собственных векторов матрицы Q IIII ) представляет сумму i-й проекции вектора j S xI неискаженных данных и i-й проекции вектора j остаточного шума.
Необходимо отметить, что формула (5) представляет собой выражение для эмпирического фильтра Винера. Отметим, что в ранних работах по ЦОИ Ярославский Л.П. показал высокий потенциал эмпирического фильтра Винера, как некоторой формы оператора уменьшения коэффициентов преобразования.
3. Повторяя рассуждения, изложенные на шаге 7 (первого этапа обработки), получаем вторую, «точную» оценку x II исходного изображения.
Результаты проведенных исследований показывают, что основными достоинствами предложенной модификации алгоритма шумоподавления являются возможность более гибкой обработки данных за счет двухэтапной схемы фильтрации, а также отсутствие сильного остаточного шума по сравнению с «классической» реализацией на восстановленных цифровых изображениях. Наряду с этим предложенному алгоритму фильтрации, как и его «классическому» варианту, свойственен эффект «звона» границ высококонтрастных объектов на цифровом изображении, а также наличие более сильного размытия основных контуров объектов на обрабатываемом изображении по сравнению c некоторыми современными алгоритмами шумоподавления.
В третьей главе исследуются возможности алгоритмов шумоподавления на основе анализа главных компонент и нелокальной обработки. Решается проблема устранения эффекта «звона», а также проблема уменьшения размытия контуров объектов на обрабатываемом изображении.
Для решения указанных задач предлагается использовать две возможные стратегии обработки цифрового изображения:
последовательная процедура шумоподавления основывается на том, что вначале обработке подвергается зашумленное изображение, а затем – первоначальная «грубая» оценка исходного изображения;
параллельная процедура шумоподавления основывается на том, что зашумленное изображение подается одновременно на вход нескольких различных алгоритмов, а итоговая оценка изображения при этом формируется с использованием специально построенной процедуры смешивания.
Блок-схема предлагаемой последовательной процедуры шумоподавления приведена на рис. 2.
Восстановленное Зашумленное изображение изображение Двухэтапная процедура Алгоритм вычисления фильтрации на основе АГК нелокальных средних Рис. 2. Схема предложенной последовательной процедуры шумоподавления I. Первый и второй этапы обработки. Данные этапы полностью повторяют совокупность действий, изложенную в модификации алгоритма фильтрации на основе анализа главных компонент (глава 2). Результатом первого этапа является первичная оценка x I исходного изображения x, которая используется для построения вторичной «более точной» оценки x II неискаженного изображения x.
II. Третий этап обработки. Для реализации данного этапа используется методика нелокальной обработки, предложенная в 2005 году Буадесом (Buades), Коллом (Coll) и Морелем (Morel). Конкретизируем основные этапы алгоритма вычисления нелокальных средних применительно к схеме на рис. 2.
1. Для обрабатываемого пикселя x II (i, j ) изображения x II описываем квадратную окрестность фиксированного размера l III l III (область подобия), центрированную на этот пиксель.
2. Определяем подобность обрабатываемого пикселя x II (i, j ) изображения x II с пикселем x II (k, l ) (вокруг которого так же описана квадратная окрестность) того же изображения, используя взвешенное евклидово расстояние II II N m, nN ga (m, n) [ x (i m, j n) x (k m, l n)], где – окрестность фиксированных размеров, центрированная на точку с координатами (0, 0), g a (m, n) – дополнительные весовые коэффициенты, определяемые в виде коэффициентов гауссовского ядра, имеющего среднеквадратическое отклонение a.
3. Определяем вес подобного к x II (i, j ) пикселя x II (k, l ) в итоговой оценке пикселя x III (i, j ) :
m, n N g a (m, n)[ x II (i m, j n ) x II ( k m, l n)] (h III ) w h III (i, j, k, l ) e, (6) где h III – параметр фильтрации, влияющий на степень фильтрации цифрового изображения. Параметр h III может быть вычислен следующим образом:
h III с III 2 2, (7) y x II где с III – положительная константа, определяемая эмпирически, принимающая значение, меньшее 1, 2 – дисперсия АБГШ, подмешанного в исходное изображение x, 2 – дисперсия сигнала разности между зашумленным y x II изображением y и вторичной оценкой x II изображения x.
4. Формируем итоговую нелокальную оценку обрабатываемого пикселя x II (i, j ) на основе следующего выражения:
x III (i, j ) k, l g h III (i, j, k, l ) x II (k, l ), (8) wh III (i, j, k, l ) где g h III (i, j, k, l ).
k, l wh III (i, j, k, l ) Повторяя указанные этапы для остальных пикселей изображения x II, можно обработать изображение x II целиком и получить третичную «точную» оценку x III исходного изображения x.
Блок-схема предлагаемой параллельной процедуры шумоподавления приведена на рис. 3.
I. Первый и второй этапы обработки. Данные этапы полностью повторяют совокупность действий, изложенную в модификации алгоритма фильтрации на основе анализа главных компонент (глава 2). Результатом первого этапа является первичная оценка x I исходного изображения x, которая используется для построения вторичной «более точной» оценки x II неискаженного изображения x.
Восстановленное Зашумленное изображение изображение Двухэтапная процедура Смешивание фильтрации на основе АГК пикселей Алгоритм вычисления нелокальных средних Рис. 3. Схема предложенной параллельной процедуры шумоподавления II. Третий этап обработки. Для реализации данного этапа в настоящей работе используется указанная методика нелокальной обработки. Необходимо отметить, что основным отличием работы блока «Алгоритма вычисления нелокальных средних» на рис. 3 от аналогичного блока на рис. 2 является то, что данный блок обрабатывает зашумленное изображение y, а не вторичную оценку x II изображения x, как это сделано в выражении (8). При этом вес подобного к обрабатываемому пикселю y (i, j ) пикселя y (k, l ) в итоговой оценке x III изображения x, получаемой на выходе блока «Алгоритма вычисления нелокальных средних» на рис. 3, вычисляется с использованием формулы (6). При расчете параметра hIII компонента дисперсии сигнала y x II в формуле (7) не учитывалась.
III. Четвертый этап обработки. Данный этап основан на формировании итоговой «точной» оценки x IV неискаженного изображения x с использованием процедуры «смешивания пикселей», представленной отдельным блоком на рис. 3.
В работе процедура смешивания реализуется в следующей простой форме:
x IV d II x II d III xIII, (9) где d II и d III – константы, принимающие значения, меньшие 1. Для простоты в настоящей работе они выбираются равными значению 0,5.
Результаты проведенных исследований позволяют заключить следующее:
основным достоинством предложенной последовательной схемы шумоподавления, по сравнению с модификацией алгоритма восстановления цифровых изображений на основе анализа главных компонент (глава 2), является значительное уменьшение эффекта «звона». При этом размытие основных границ объектов либо не изменяется, либо становится незначительно выше;
основным достоинством предложенной параллельной схемы шумоподавления, по сравнению с модификацией алгоритма восстановления цифровых изображений на основе анализа главных компонент, является значительное уменьшение эффекта «звона» и размытия границ объектов.
Пример обработки тестового изображения «Бабуин» с использованием алгоритмов шумоподавления, рассматриваемых в работе, приведен на рис. 4. Здесь и далее лучшие результаты выделены жирным шрифтом.
а) блокосогласование б) модиф. алгоритма в) последовательная г) параллельная схема и трехмер. фильтрация фильтрации на основе схема (24,90 дБ;
0,714) (25,57 дБ;
0,750) (25,46 дБ;
0,745) АГК (25,52 дБ;
0,748) Рис. 4. Фрагменты результатов восстановления тестового изображения «Бабуин», искаженного АБГШ ( 25 ), с указанием ПОСШ, дБ и КСП Анализ предложенных в настоящей работе методов шумоподавления показывает, что наибольшая эффективность данных подходов достигается при обработке высоко текстурированных изображений. Пример обработки тестового изображения «Аэрофотосъемка», представляющего собой текстурное изображение земной поверхности, представлен графически на рис. 5.
Зашумленное изображение Блокосогласование и 0. трехмерная фильтрация Модификация алгоритма 0. фильтрации на основе АГК Последовательная схема ПОСШ, дБ 0. Параллельная схема КСП Зашумленное изображение 0. Блокосогласование и трехмерная фильтрация 0. Модификация алгоритма 20 фильтрации на основе АГК 0. Последовательная схема Параллельная схема 5 10 15 20 25 30 35 5 10 15 20 25 30 а) б) Рис. 5. Результаты восстановления тестового изображения «Аэрофотосъемка»:
а) зависимость ПОСШ, дБ от ;
б) зависимость КСП от Анализ визуальных и графических результатов обработки текстурных изображений показывает достаточную эффективность представленных в настоящей работе методов, по сравнению с алгоритмом обработки на основе блокосогласования и трехмерной фильтрации.
Анализ литературы по подавлению шумов на цифровых изображениях показывает, что современные методы фильтрации АБГШ в полутоновых изображениях могут дополнительно использоваться в ряде других задач ЦОИ.
Поэтому дополнительно задачей, решаемой в настоящей главе, является задача расширения возможности практического применения предложенных алгоритмов шумоподавления на случай фильтрации цветных изображений, зашумленных АБГШ, фильтрации смешанных шумов, подавления артефактов блочности в сжатых алгоритмом JPEG изображениях.
Задача фильтрации цветных изображений является достаточно актуальной с точки зрения современных практических приложений, поэтому на данный момент времени существует множество подходов к ее решению. Возможным вариантом обработки, рассматриваемым в настоящей работе, является прямая, поканальная обработка RGB-изображения. Необходимо отметить, что в процессе моделирования перехода от RGB-изображения к изображению с разделенной яркостной и цветовой информацией не происходило, а АБГШ подмешивался с одинаковыми характеристиками в каждый канал по отдельности. Пример обработки цветного тестового изображения №19 базы данных Kodak «Маяк» представлен на рис. 6.
а) зашум. изображение б) модиф. алгоритма в) последовательная г) параллельная схема (20,31 дБ;
0,468) фильтрации на основе схема (29,20 дБ;
0,792) (29,63 дБ;
0,805) АГК (29,34 дБ;
0,808) Рис. 6. Фрагменты результатов восстановления тестового изображения «Маяк», искаженного АБГШ ( 25 ), с указанием ПОСШ, дБ и КСП Возможными усложнениями модели АБГШ, рассматриваемой в рамках настоящей работы, могут служить модели смешанных шумов. Пример подобной модели для описания шума КМОП-матриц может иметь следующий вид:
y x (1 2 x)n, (10) где 1 и 2 – константы, описывающие степень зашумления, а n – белый гауссовский шум с нулевым математическим ожиданием и единичной дисперсией.
В силу неоднородности дисперсии шума на цифровом изображении, при наличии модели зашумления (8), прямое использование методик восстановления исходного изображения из зашумленных данных, изложенных в настоящей работе, не представляется возможным. Для решения данной проблемы был использован подход на основе обобщенной гомоморфной фильтрации, позволяющий с использованием определенного нелинейного преобразования (логарифмического типа) представить зашумленные данные y в виде суммы полезного сигнала и АБГШ, обработать их с использованием предложенных в работе методов и восстановить, используя обратное (к логарифмическому) преобразование данных.
Пример обработки тестового изображения «Лодки», приведен на рис. 7.
а) зашум. изображение б) модиф. алгоритма в) последовательная г) параллельная схема (16,68 дБ;
0,229) фильтрации на основе схема (27,13 дБ;
0,721) (27,52 дБ;
0,730) АГК (27,14 дБ;
0,723) Рис. 7. Фрагменты результатов восстановления тестового изображения «Лодки», искаженного смешанным шумом ( 1 25, 2 0,1 ), с указанием ПОСШ, дБ и КСП Рассмотрим ситуацию, в которой модель зашумления полезного сигнала с использованием АБГШ y x n описывает результат сжатия изображения с использованием алгоритма JPEG (рис. 8а).
а) сжатое изображение б) модиф. алгоритма в) последовательная г) параллельная схема (25,03 дБ;
0,756) фильтрации на основе схема (25,76 дБ;
0,782) (25,92 дБ;
0,788) АГК (25,79 дБ;
0,783) Рис. 8. Фрагменты результатов восстановления тестового изображения «Фотограф», искаженного артефактами блочности ( Q 6 ), с указанием ПОСШ, дБ и КСП В данном случае шумовую компоненту n можно гипотетически принять за искажение, связанное с артефактами блочности на цифровом изображении (рис. 8а).
Тогда решение задачи «фильтрации артефактов блочности» будет сводиться к нахождению дисперсии 2 шумовой компоненты n. Возможный вариант поиска 2, с использованием априорных знаний о матрице квантования коэффициентов для стандарта сжатия JPEG, может быть найден в соответствующей литературе.
Пример обработки тестового изображения «Фотограф» приведен на рис. 8 для случая высокой степени сжатия цифрового изображения (качество сжатия Q 6 ).
ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ На основании проведенных исследований в области шумоподавления на цифровых изображениях в работе получены следующие основные результаты:
1. Представлен обзор алгоритмов восстановления цифровых изображений, зашумленных АБГШ. Проведено разделение рассматриваемых алгоритмов на методы локальной и нелокальной, поточечной и многоточечной обработки.
2. Приведены оригинальные (численные – ПОСШ, КСП и визуальные) результаты сравнения алгоритмов фильтрации цифровых изображений, зашумленных АБГШ. Установлено, что наилучшими показателями численного и визуального качества обработанных изображений обладает алгоритм восстановления цифровых данных на основе блокосогласования и трехмерной фильтрации. Однако данный алгоритм обладает достаточно высокой вычислительной стоимостью и сложностью реализации.
3. Разработана модификация алгоритма подавления шума в цифровых изображениях на основе анализа главных компонент.
4. Предложенная двухэтапная модификация алгоритма фильтрации цифровых изображений на основе анализа главных компонент позволяет улучшить качество восстановления цифровых изображений по ПОСШ и КСП в среднем на ~ 0,51 дБ и ~ 0,039, соответственно, по сравнению с «классической» реализацией. Однако использование двухэтапной структуры обработки данных приводит к увеличению вычислительной сложности алгоритма.
5. Разработаны алгоритмы шумоподавления на основе анализа главных компонент и нелокальной обработки.
6. Предложенная последовательная процедура шумоподавления не позволяет увеличить качество по численным метрикам ПОСШ и КСП по сравнению с модификацией алгоритма фильтрации цифровых изображений на основе анализа главных компонент, представленной в главе 2, отставая от нее в среднем на ~ 0,46 дБ и ~ 0,002. Однако при незначительном сглаживании изображения последовательная процедура обработки позволяет значительно снизить влияние эффекта «звона» на визуальное восприятие изображения.
7. Предложенная параллельная процедура шумоподавления позволяет улучшить качество восстановления цифровых изображений по ПОСШ и КСП в среднем на ~ 0,21 дБ и ~ 0,007, соответственно, по сравнению с модификацией алгоритма фильтрации на основе анализа главных компонент, представленного в главе 2. Кроме того, предложенная параллельная процедура обработки позволяет снизить влияние эффекта «звона» и уменьшить размытие основных контуров объектов на изображении.
8. Выполнена настройка параметров предложенных алгоритмов шумоподавления на основе визуальных и численных (ПОСШ, КСП) оценок качества изображений.
9. Проведено сравнение предложенных алгоритмов с современными методами шумоподавления. Полученные результаты показывают эффективность и конкурентноспособность данных подходов по сравнению с ними.
10. Особая эффективность предложенных алгоритмов достигается для тех случаев, когда для обработки отдельных локальных областей на цифровом изображении удается качественно набрать статистику для построения базиса главных компонент. Примером может служить обработка высоко текстурированных изображений.
11. Рассмотрен ряд приложений, позволяющих расширить возможности практического применения предлагаемых алгоритмов шумоподавления.
ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Статьи в журналахиз перечня ВАК 1. Моисеев А.А., Кобелев В.Ю., Волохов В.А. Курвлет-преобразование в задаче подавления шума в изображениях // Цифровая обработка сигналов. 2008. №1.
С. 43–50.
2. Приоров А.Л., Волохов В.А., Мочалов И.С. Параметризация двумерных вейвлет-фильтров для субполосного разложения кратности 3*3 // Электросвязь. 2009. №2. С. 25–28.
3. Приоров А.Л., Волохов В.А., Мочалов И.С. Синтез двумерных неразделимых вейвлет-фильтров для субполосного разложения произвольной кратности // Радиотехника. 2010. №1. С. 74–81.
Статьи в рецензируемых журналах 4. Моисеев А.А., Волохов В.А. Цифровая обработка изображений с применением курвлет-преобразования // Вестник ЯрГУ. Серия «Физика. Радиотехника.
Связь». Ярославль, 2008. №1. С. 138–143.
5. Приоров А.Л., Волохов В.А., Мочалов И.С. Синтез двумерных неразделимых вейвлет-фильтров для субполосного разложения нечетной кратности // Вестник ЯрГУ. Серия «Физика. Радиотехника. Связь». Ярославль, 2008. №1. С. 144–147.
Доклады на российских и международных конференциях 6. Приоров А.Л., Волохов В.А., Моисеев А.А. Фильтрация цифровых изображений с применением методов кратномасштабного анализа // Матер.
7-й междунар. науч.-практ. конф. «Перспективные технологии в средствах передачи информации». Владимир, 2007. С. 175–178.
7. Моисеев А.А., Волохов В.А. Кратномасштабный анализ в задаче цифровой фильтрации изображений // Докл. 10-й междунар. конф. и выставки «Цифровая обработка сигналов и ее применение». М., 2008. Т. 2. С. 518–521.
8. Моисеев А.А., Волохов В.А., Приоров А.Л. Алгоритм фильтрации изображений на основе вейвлет- и курвлет-преобразования // Матер. 15-й междунар. науч.-техн. конф. «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций». Рязань, 2008. Т. 2. С. 120–122.
9. Волохов В.А., Мочалов И.С. Параметризация двумерных вейвлет-фильтров субполосного разложения произвольной кратности // Тр. науч.-техн. конф.
«Проблемы автоматизации и управления в технических системах». Пенза, 2008. С. 312–314.
10. Волохов В.А., Мочалов И.С., Приоров А.Л. Разработка алгоритма фильтрации цифровых изображений на основе трехполосной схемы разложения сигнала // Докл. 11-й междунар. конф. и выставки «Цифровая обработка сигналов и ее применение». М., 2009. Т. 2. С. 467–469.
11. Моисеев А.А., Волохов В.А., Приоров А.Л. Разработка алгоритма синтеза двумерных вейвлет-фильтров для субполосного разложения кратности 3*3 // Докл. 11-й междунар. конф. и выставки «Цифровая обработка сигналов и ее применение». М., 2009. Т. 2. С. 491–494.
12. Priorov A., Volokhov V. Using of the contourlet transform for the digital image filtration // Proc. Int. Conf. Wavelets and Applications, 2009. P. 48–49.
13. Сергеев Е.В., Волохов В.А., Мочалов И.С. Фильтрация изображений на основе анализа главных компонент // Докл. 12-й междунар. конф. и выставки «Цифровая обработка сигналов и ее применение». М., 2010. Т. 2. С. 305–307.
14. Волохов В.А., Сергеев Е.В., Мочалов И.С. Разработка алгоритма фильтрации изображений на базе анализа главных компонент // Тр. 65-й науч. сессии, посвященной Дню радио. М., 2010. С. 193–195.
15. Волохов В.А., Сергеев Е.В. Удаление аддитивного белого гауссова шума из цифровых изображений на основе анализа главных компонент // Тр. 20-й междунар. конф. по компьютерной графике и зрению «Графикон’2010». СПб., 2010. С. 342–343.
16. Волохов В.А., Сергеев Е.В., Мочалов И.С., Приоров А.Л. Модификация алгоритма нелокального усреднения для удаления шума из цифровых изображений // Докл. 13-й междунар. конф. и выставки «Цифровая обработка сигналов и ее применение». М., 2011. Т. 1. С. 267–270.
17. Сергеев Е.В., Волохов В.А., Приоров А.Л. Фильтрация изображений на основе адаптивного анализа главных компонент и оптимального фильтра Винера // Матер. 9-й междунар. науч.-техн. конф. «Перспективные технологии в средствах передачи информации». Владимир – Суздаль, 2011. Т. 2. С. 73–75.
18. Волохов В.А., Сергеев Е.В., Мочалов И.С. Модификация алгоритма нелокального усреднения на основе анализа главных компонент для удаления шума из цифровых изображений // Тр. 21-й междунар. конф. по компьютерной графике и зрению «Графикон’2011». М., 2011. С. 259–262.
19. Малюкина Е.П., Волохов В.А., Сергеев Е.В. Модификация алгоритма нелокального усреднения на основе многоточечной обработки для удаления шума из цифровых изображений // Матер. междунар. науч.-практ. конф.
«Молодежь и наука: модернизация и инновационное развитие страны». Пенза, 2011. Ч. 2. С. 167–169.
Учебно-методические работы 20. Хрящев В.В., Приоров А.Л., Волохов В.А. Основы теории цепей: сборник задач. – Ярославль: ЯрГУ, 2008.
21. Приоров А.Л., Волохов В.А., Апальков И.В. Обработка сигналов на основе вейвлет-преобразования: методические указания. – Ярославль: ЯрГУ, 2011.
Подписано в печать Формат 6084 1/16. Тираж 100 экз.