авторефераты диссертаций БЕСПЛАТНАЯ  БИБЛИОТЕКА

АВТОРЕФЕРАТЫ КАНДИДАТСКИХ, ДОКТОРСКИХ ДИССЕРТАЦИЙ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ

Математическое моделирование распознавания образа предмета с помощью нейронных сетей

ФГБОУ ВПО «Мордовский государственный университет

имени Н. П. Огарева»

На правах рукописи

Ферцев Александр Александрович

Математическое моделирование распознавания

образа предмета с помощью нейронных сетей

Специальность 05.13.18 – Математическое моделирование,

численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

Саранск – 2011

Работа выполнена на кафедре прикладной математики математического факультета Мордовского государственного университета им. Н.П. Огарева.

Научный руководитель: доктор физико-математических наук, профессор, Дерюгин Юрий Николаевич

Официальные оппоненты: доктор физико-математических наук, профессор, Бойков Илья Петрович кандидат физико-математических наук, Рыжачкин Иван Петрович

Ведущая организация: Ульяновский государственный технический университет

Защита состоится « 8 » февраля 2012 г. в 14 час. 00 мин. на заседании диссертационного совета Д212.117.14 при Мордовском государственном университете им. Н.П. Огарева, по адресу: г. Саранск, проспект Ленина, д.15.

С диссертацией можно ознакомиться в библиотеке Мордовского государственного университета.

Автореферат разослан « » 2011 г.

Отзывы и замечания по автореферату в двух экземплярах, заверенные печатью, просим высылать на имя ученого секретаря диссертационного совета по адресу:

430005, г. Саранск, ул. Большевистская, 68.

Ученый секретарь диссертационного совета, кандидат физико-математических наук Сухарев Л.А.

Общая характеристика работы

Актуальность работы обусловлена необходимостью разработки программ для управления автоматическими системами, участие человека в управлении которыми либо невозможно, либо нецелесообразно. К таким системам относятся различные системы компьютерного зрения, системы теленаведения, управления летательными аппаратами и тому подобные.

Эффективность систем такого рода зависит от знаний, которыми они обладают.

Эти знания не только чисто эмпирические (полученные опытным путем), но и эвристические – набор правил и рекомендаций, которыми следует пользоваться в той или иной ситуации, возникающей в данной предметной области.

Основным критерием при разработке подобных систем является их автономность при принятии решений. То есть, для принятия решений система может использовать лишь данные, полученные из окружающей среды, а также определенные правила и алгоритмы, запрограммированные заранее. Создание таких программных систем приводит к необходимости решения класса задач, ранее решаемых при непосредственном участии человека-эксперта. К подобным задачам относится задача по распознаванию образов предметов. Под образом предмета понимается отражение свойств реального объекта, в общем случае неполное. Это отражение дает исходные данные для задачи. Решение задачи распознавания есть отнесение исходных данных к определенному классу, то есть установление предмета, образом которого являются исходные данные. Задачи распознавания образов обладают следующими свойствами:

невозможность алгоритмического решения (в силу плохой формализуемости самих задач или огромных затрат машинного времени);

противоречивость, неполнота, возможная ошибочность, исходных данных;

огромная размерность данных, плохо представимых в какой-либо наглядной форме;

динамически меняющийся состав данных (в силу постоянного их пополнения, изменения и развития);

необходимость широкого использования в процессе решений эвристических и эмпирических процедур, сформулированных экспертами;

необходимость участия в процессе решения человека (пользователя), который путем ответа на дополнительно задаваемые вопросы привносит дополнительную информацию и выбирает альтернативные пути принятия решения.

Поэтому для решения задач распознавания невозможно применять обычные методы с жесткими алгоритмами и ограничениями. Автоматическая система, решающая такие задачи должна не программироваться, а обучаться.

В задачах обнаружения сигналов на фоне помех значительное развитие получили статистические методы, которые успешно используются при анализе и синтезе радиотехнических, радиолокационных и гидроакустических систем.

Эти методы стали применяться и в оптических и оптико-электронных системах для распознавания образов. Однако теория приема оптических сигналов на фоне сильных помех и принятие решения по ним еще не достаточно полно разработана и не всегда дает ответ. Поэтому для решения задач распознавания образов в последнее время наиболее часто применяются методы на основе нейронных сетей. Нейронные сети представляют собой математическую модель функционирования биологических нейронных сетей – сетей нервных клеток живого организма. Как и в биологической нейронной сети, основным элементом искусственной нейронной сети является нейрон. Соединенные между собой нейроны образуют слои, количество которых может варьироваться в зависимости от сложности нейронной сети и решаемых ею задач. Способность нейронных сетей к генерализации, то есть к принятию верного решения для входных данных, которые не предъявлялись нейронной сети ранее, большое количество эвристических алгоритмов обучения нейронных сетей и устойчивость к различным флюктуациям входных данных – все это делает нейронные сети самым предпочтительным направлением для решения этих задач.



Целью диссертационной работы является построение эффективных методов распознавания образов с помощью нейронных сетей и разработка программ, реализующих эти методы. Для этого необходимо построить нейронную сеть и эффективный алгоритм для ее обучения. На основе построенной нейронной сети необходимо разработать программный комплекс, способный эффективно решать задачи распознавания образов. Для эффективной обработки исходных данных большой размерности и ускорения функционирования программного комплекса необходимо использовать в его разработке параллельные алгоритмы вычислений с использованием возможностей графических ускорителей. Разработанный программный комплекс должен быть протестирован на известных задачах. Необходимо применить программный комплекс для решения задачи распознавания образов и сравнить полученные результаты с другими подобными работами.

Методы исследования. В качестве метода решения задачи распознавания образов выбран метод на основе нейронных сетей прямого распространения. Для обучения нейронной сети прямого распространения был построен улучшенный метод обучения на основе метода Левенберга Марквардта. Основу метода составляет классический метод Левенберга Марквардта, который был существенно улучшен за счет применения таких подходов как:

регуляризация с помощью байесовских гиперпараметров;

инициализация параметров нейронной сети по методу Нгуена Уидроу;

предотвращение потери нейронной сетью генерализации с помощью метода раннего останова.

Улучшенный метод был реализован в виде параллельного алгоритма обучения с использованием вычислительных возможностей графического ускорителя. Разработана собственная реализация на графическом ускорителе метода обращения матриц с помощью LU-разложения. На основе построенного алгоритма разработан программный комплекс, способный решать многие задачи классификации, что подтверждается результатами тестовых расчетов.

Научная новизна.

В данной работе предложена математическая модель распознавания образов с помощью нейронных сетей. Построена нейронная сеть прямого распространения с улучшенным алгоритмом обучения на основе метода Левенберга-Марквардта и предложен новый алгоритм обучения такой нейронной сети, основанный на методе Левенберга-Марквардта, регуляризации Байеса, инициализации Нгуена-Уидроу и методе раннего останова. Были созданы алгоритмы распараллеливания с использование графических ускорителей, которые позволили существенно повысить эффективность решения задач распознавания образов;

в частности, предложена реализация алгоритма обращения матриц с помощью LU-разложения на графических ускорителях. На основе построенной нейронной сети разработан программный комплекс с использованием вычислительных возможностей графических ускорителей. С помощью разработанного программного комплекса решены задачи распознавания образов.

Практическая значимость:

Построенная в диссертации модель и вычислительные алгоритмы апробированы на тестовых задачах и могут быть применены для решения многих задач классификации. Программный комплекс разработан с использованием современных технологий параллельных вычислений с использованием возможностей графических ускорителей, многократно ускоряющих вычисления.

На защиту выносятся следующие положения и результаты:





математическая модель распознавания образа предмета с помощью нейронных сетей;

новый алгоритм обучения нейронной сети прямого распространения, основанный на методе Левенберга-Марквардта;

построенная нейронная сеть с эффективным алгоритмом обучения на основе метода Левенберга-Марквардта;

алгоритмы распараллеливания с использованием графических ускорителей;

программный комплекс для параллельных вычислений с использованием возможностей графических ускорителей;

результаты исследования наиболее предпочтительных параметров программного комплекса для решения задачи распознавания образов;

результаты решения задачи распознавания образов и сравнительный анализ с другими работами.

Апробация результатов. Основные результаты докладывались и обсуждались на конференциях, семинарах и школах-семинарах:

X международный семинар «Супервычисления и математическое моделирование» (Саров, 2008, 29 сентября – 2 октября);

XII международный семинар «Супервычисления и математическое моделирование» (Саров, 2010, 11 – 15 октября);

XIII международный семинар «Супервычисления и математическое моделирование» (Саров, 2011, 3 – 7 октября);

VIII Международная научная конференция «Дифференциальные уравнения и их приложения» (Саранск, 2008, 12 – 16 мая);

IX научная конференция «Дифференциальные уравнения и их приложения в математическом моделировании» с участием зарубежных ученых (Саранск, 2010, 1 – 3 июля);

школа-семинар «Математическое моделирование, численные методы и комплексы программ» (Саранск, 2011, 1 – 13 июля);

VI Международная научно-техническая конференция «Аналитические и численные методы моделирования естественнонаучных и социальных проблем» (Пенза, 2011, 25 – октября).

Публикации. Основные результаты опубликованы в работах [В1], [В2], [A1], [A2], [A3], [A4].

Структура и объем диссертации: диссертация состоит из введения, трех глав, заключения и списка цитируемой литературы. Общий объем диссертации – 112 листов. Список литературы содержит 103 наименования.

Содержание работы Во введении обоснована актуальность диссертационной работы, сформулированы цели и аргументирована научная новизна исследований, показана практическая значимость полученных результатов, представлены выносимые на защиту положения и результаты. Проведен обзор и анализ литературы и научных публикаций по теме исследования.

Первая глава посвящена моделям, алгоритмам и методам, использованным в данной работе для распознавания образов. Источником образов в данной работе служат результаты оптического сканирования предметов, находящихся в рассеивающей среде (например, в воде) с помощью технологии LIDAR (light detection and ranging). В результате такого сканирования будут получены зашумленные образы предметов. Поэтому, решение задачи распознавания таких образов можно разбить на 4 этапа:

формирование совокупности эталонных образов;

1.

разработка и реализация алгоритма распознавания образов;

2.

адаптация алгоритма к реальным входным данным;

3.

проверка пригодности разработанного алгоритма для решения 4.

поставленной задачи – алгоритм должен с высокой вероятностью распознавать зашумленные образы.

Фактически, образами предмета в данной работе являются цифровые изображения. Тогда задача распознавания образов эквивалентна задаче распознавания изображений. В данной работе предлагается математическая модель распознавания образа предмета с помощью нейронных сетей. Будем рассматривать дискретные изображения, представляемые в виде прямоугольной [ ] матрицы пикселей.

Рассмотрим два пространства: пространство характеристик и тематическое пространство. Элементами пространства являются n-мерные векторы, представляющие собой наборы характеристик различных образов. Элементами тематического пространства являются сами образы. Таким образом, задачей распознавания образов будет задача построения классифицирующего отображения пространства характеристик в тематическое пространство. В рамках данной работы классифицирующее отображение – нейронная сеть прямого распространения. Нейронную сеть прямого распространения представим в виде четверки ( ), где – функция активации нейрона, ( ) ( ) – параметры нейронной сети, – обучающая выборка ( – вектор входных данных, – желаемый выход сети), – совокупность слоев нейронной сети и правил соединения нейронов друг с другом. В данной работе каждый нейрон последующего слоя соединен с каждым нейроном предыдущего слоя. Выход каждого нейрона можно рассчитать по формуле ( ) Подобно человеческому мозгу, нейронная сеть способна обучаться, используя так называемое обучающее множество. Ошибкой нейронной сети на обучающем множестве за одну эпоху назовем среднеквадратичную ошибку, вычисляемую по формуле:

( ) где – j-тый компонент выхода сети на i-той итерации, - j-тый компонент i-того желаемого выхода.

В рамках математической модели распознавания образов обучение нейронной сети есть минимизация ошибки. Под обучающим множеством будем понимать совокупность векторов характеристик, для которых известны их образы. Множество, предназначенное для проверки построенного отображения (нейронной сети), называется тестовым множеством. Тогда решением задачи распознавания будет обученная нейронная сеть, такая, для любого набора характеристик будут найдены соответствующие образы, либо установлено, что таких образов не существует.

Для уменьшения искажений, вносимых различными шумами, в данной работе применяется фильтрация изображений в частотной области с помощью преобразования Фурье. Фильтрация изображений с помощью преобразования ( ( ( ))), где Фурье может быть выражена следующей формулой:

– изображение после фильтрации, – исходное изображение, – прямое преобразование Фурье, – обратное, – некий фильтр. Были реализованы три фильтра:

( ) ( ) Фильтр Гаусса низких частот:

( ) ( ) Фильтр Гаусса высоких частот:

( ) ( ) Лапласиан в частотной области:

Метод Левенберга-Марквардта был предложен в работах [1] и [2] как метод поиска минимума нелинейной функции. Пусть имеется выборка – { } множество пар свободной переменной и ( ), зависимой переменной,и задана функция непрерывно дифференцируемая в области. Требуется найти такой вектор весов, который доставлял бы локальный минимум функции ошибки ( ( )) () [ ( ) ( )] – вектор невязки, тогда Вектор | ( )| – невязка и | ( )|. Тогда, согласно [2], для оценки приращения функции в точке можно использовать линейное приближение:

( ) ( ) – матрица Якоби для функции ( ). Такая оценка справедлива лишь в где том случае, когда невязка ( ) достаточно мала, то есть в точке достаточно близкой к точке минимума. Согласно [2], чтобы найти, надо решить уравнение ( ) () Матрица может оказаться существенно вырожденной, поэтому Марквардт в [2] предложил ввести параметр регуляризации :

( ) () где – единичная матрица. Кроме того, чтобы избежать чрезмерного влияния ( ) на шаг метода при поиске минимума, в [2] предложено градиента заменить единичную матрицу диагональю матрицы Гессе:

( )) () ( В настоящей работе для обучения такой нейронной сети применен алгоритм на основе метода Левенберга-Марквардта. Этот метод был применен для обучения нейронных сетей, например в [3], [4], [5], [6]. В качестве уточнения математической модели распознавания образов, согласно [4] и [7], нейронную сеть прямого распространения можно представить в виде вектор функции вектор-аргумента:

( ) (1) ( ) – входные данные, ( ) – веса сети, где ( ) – выход сети. Тогда ошибка сети за одну эпоху будет выражаться формулой:

() ( ) (2) где – желаемый выход - того выходного нейрона для - того элемента ( ) – вектор невязки обучающего множества. Пусть для нейронной сети, где. Тогда:

() Как было показано выше, приращение весов нейронной сети следует искать в виде решения уравнения:

( )) ( (3) В рамках данной работы реализовано обучение нейронной сети, состоящей из трех слоев: входного ( нейронов), скрытого ( нейронов) и выходного ( нейронов). На каждом слое присутствует нейрон, называемый пороговым нейроном или смещением, выход которого, в отличие от обычного нейрона, всегда равен единице. Для нейронной сети с одним скрытым слоем формула (1) примет вид:

() () () () ( ) ( ( ) ) () () где – матрица весов нейронов скрытого слоя, – матрица весов () () выходного слоя, – веса пороговых нейронов скрытого слоя, – веса пороговых нейронов выходного слоя. Тогда элементы матрицы Якоби будут иметь следующий вид.

() Если есть вес нейрона скрытого слоя, то есть, тогда () () () ) ( ( )) ( (4) () где – выход ( ) – значение производной - того нейрона скрытого слоя, функции активации в точке () Если есть вес нейрона выходного слоя, то есть, тогда () ) ( { (5) () () Если есть вес порогового нейрона скрытого слоя, то есть, тогда () () () ) ( ( )) ( (6) () () Если есть вес порогового нейрона выходного слоя, то есть, тогда () ) ( { (7) () Сходный вид элементов матрицы Якоби получен в [5] и [8].

Таким образом, алгоритм обучения нейронной сети на основе метода Левенберга-Марквардта будет иметь следующий вид:

Вычислить ошибку сети за одну эпоху по формуле (2) 1.

Вычислить элементы матрицы Якоби по формулам (4) – (7) 2.

Решить уравнение (3) и вычислить ошибку сети для вновь 3.

полученных весов сети. Если ошибка уменьшилась – перейти к шагу 5, иначе – перейти к шагу 4.

Вернуться к прежним значениям весов сети и увеличить 4.

регуляризующий параметр (обычно увеличивают в 10 раз). Перейти к шагу 3.

Принять полученные значения весов сети, уменьшить значение 5.

параметра (обычно уменьшают также в 10 раз) и перейти к новой эпохе обучения.

Такой алгоритм имеет существенные недостатки:

Алгоритм плохо справляется с ситуацией, когда в обучающем 1.

множестве присутствуют элементы, сильно выделяющиеся из общей совокупности Алгоритм очень чувствителен к выбору начальных значений весов 2.

При работе с нейронными сетями большого размера алгоритм 3.

потребляет очень много памяти, а необходимость на каждом шаге обращать матрицы большого размера приводит к усложнению вычислительного процесса.

Для устранения первого недостатка алгоритма в работе был применен метод, предложенный МакКеем (David MacKay) в работе [9] и развитый в работе [10]. Суть метода, предложенного в этих работах переходе от поиска точки минимума среднеквадратической ошибки, вычисляемой по формуле (2), к поиску минимума функции, выражаемой формулой:

() где – ошибка сети, – сумма квадратов весов сети, и – гиперпараметры. В данной работе для вычисления гиперпараметров и используются формулы, предложенные Поландом (Jan Poland) в работе [11]:

([ ] ) ([ ] ) Для устранения второго недостатка, то есть для инициализации и преобразования весов сети используется модифицированный метод Нгуена Уидроу, предложенный в работе [12]. Вначале, все веса сети инициализируются случайными значениями, равномерно распределенными на отрезке [ ].

Затем каждый вес нормируется. После этого, веса подвергаются следующему преобразованию:

{ ( ) где – количество нейронов текущего слоя, – количество нейронов предыдущего слоя.

Одним из наиболее важных моментов в обучении нейронных сетей является выбор критериев остановки обучения и оценка их эффективности.

Чтобы избежать потери нейронной сетью свойства генерализации и сократить число эпох обучения был применен так называемый «метод раннего останова».

В данной работе в качестве критерия останова сформулировано следующее правило: обучение следует останавливать, когда ошибка на тестовом множестве ( ) уменьшилась до определенного значения. В качестве ошибки на тестовом множестве выбран процент правильно распознанных элементов тестового множества. Тогда критерий останова можно выразить формулой:

() [ ] В главе 3 было проведено исследование с целью выявить наиболее предпочтительную величину порога останова для конкретной практической задачи.

Во второй главе рассматривается разработанный программный комплекс Первая часть главы посвящена вычислениям с ImageRecognizer.

использованием возможностей графических ускорителей. В данной работе вычисления на графических ускорителях производятся посредством технологии CUDA, представленной компанией NVIDIA в 2006 году. Вычислительная модель GPU на верхнем уровне представляет собой сетку размерности. Каждый блок, в свою очередь, состоит из множества нитей, непосредственно производящих вычисления. Нити одного блока объединены в трехмерный массив размерности. Нити объединяются в группы, называемые warp. В CUDA выделяют шесть видов памяти. Типы памяти различаются по быстродействию, доступности данных и типам хранимых данных. В работах [13] и [14] приводится сравнение производительности CUDA и известной реализации стандарта MPI – OpenMP. Тестирование проводилось для задачи симуляции эволюции системы частиц. Тесты показали, что производительность графического ускорителя с CUDA примерно на 13% выше, чем центрального процессора при использовании OpenMP. В работе [14] приводится несколько иная разница в производительности – от 13% до 63%.

Для решения задачи распознавания изображений был создан программный комплекс ImageRecognizer. Программный комплекс состоит из трех основных модулей: модуля фильтрации изображений (MFilter), модуля извлечения характеристик изображений (MImageFeatures) и главного модуля – MNeural, создающего и обучающего нейронную сеть для распознавания изображений. Общая схема работы программного комплекса следующая.

Вначале модуль MFilter осуществляет фильтрацию загруженного изображения.

Результаты работы модуля MFilter передаются модулю MImageFeatures для извлечения характеристик изображения. Характеристики поступают в модуль MNeural, который с помощью нейронной сети определяет эталон для исходного изображения. Модуль MFilter производит фильтрацию изображений с помощью библиотеки CUFFT, которая позволяет перенести вычисления преобразования Фурье на графический ускоритель, что существенно ускоряет вычисления.

Модуль MImageFeatures обрабатывает изображения для получения исходных данных в виде текстовых файлов. В качестве характеристик используются средние яркости сегментов изображения размером 8х8 пикселей. Работа модуля MNeural начинается с построения нейронной сети прямого распространения и загрузки входных данных для обучения из указанных файлов. Затем производится инициализация весов и параметра регуляризации.

Каждая эпоха обучения начинается с предъявления нейронной сети всех элементов обучающего множества, вычисления ошибок нейронной сети и части матрицы Якоби. После этого вычисляется градиент и аппроксимированная матрица Гессе. При использовании возможностей графического ускорителя для всех операций матричной алгебры вызываются функции, использующие библиотеку CUBLAS. После вычисления начального значения целевой функции начинает работу алгоритм на основе метода Левенберга-Марквардта.

Для решения уравнения (3) в модуле MNeural применяется обращение матрицы, поскольку для пересчета гиперпараметров Байесовской регуляризации необходимо вычислить сумму диагональных элементов матрицы, обратной аппроксимированной матрице Гессе. Для нахождения обратной матрицы применяется собственная реализация алгоритма обращения матрицы с помощью блочного исходной матрицы с LU-разложения использованием возможностей графического ускорителя.

Было проведено тестирование программного комплекса Image Recognizer на трех известных задачах классификации:

Классификация цветковых растений рода «Ирис» по трем видам;

1.

Классификация рака легкого по трем типам;

2.

Классификация подводных объектов по сигналам, полученным 3.

гидролокатора при сканировании морского дна.

Данные для всех задач были взяты из открытого хранилища «UCI Machine Learning Repository» [15]. Тестирование показало, что программный комплекс Image Recognizer способен эффективно решать многие задачи классификации. Кроме того, решение третьей тестовой задачи показало, что построенная сеть прямого распространения существенно превосходит классические нейронные сети обратного распространения.

В третьей главе рассматривается решение практической задачи распознавания зашумленных изображений. Будем работать с изображениями в формате Windows Bitmap Picture (тип image/x-ms-bmp по стандарту MIME), палитра которых содержит 256 оттенков серого, битность (количество бит, кодирующих один пиксель) изображения равняется 8. Не умаляя общности, будем считать, что изображения подвергнуты улучшению с помощью модуля MFilter программного комплекса. Пусть во множестве изображений все изображения имеют одинаковый размер пикселя. На каждом изображении присутствует образ из множества образов, принадлежащего тематическому пространству. Положение образа на изображении не изменяется в зависимости от изображения, различные деформации – поворот, растяжение, сжатие – отсутствуют. В качестве образов для практической реализации был взят набор 26 латинских букв и 10 цифр, начертанных стандартным шрифтом Arial. На изображениях образы были помещены в центре. Пусть имеется обучающее множество, каждый элемент которого представляет собой пару ( ), Необходимо для каждого изображения множества установить соответствующий образ из множества с помощью множества. Под зашумленными изображениями будем понимать изображения, часть пикселей которых заменена пикселями со случайными яркостями, распределенными равномерно в диапазоне [ ]. Отношение количества замененных пикселей к общему количеству пикселей изображения называется долей или уровнем шума. Для распознавания изображений с помощью модуля была построена нейронная сеть прямого MNeural распространения. Входной слой нейронной сети содержал 64 нейрона, скрытый слой – от 6 до 24 нейронов, выходной слой – 6 нейронов. Вектор выходов рассматривается как представление номера эталона в двоичной системе счисления. Для тестирования нейронной сети было создано тестовая совокупность из 36000 элементов: для каждого эталона было создано зашумленных изображений, каждое зашумленное изображение представлено в 10 различных вариантах. Будем считать, что элемент обучающего или тестового множеств распознан нейронной сетью, если среднеквадратическая ошибка нейронной сети на этом элементе не превышает. Для выяснения оптимальных параметров нейронной сети при решении поставленной задачи были проведены расчеты четырех типов:

Расчет Т1 – сравнение результатов тестирования нейронной сети, обученной на разных обучающих выборках.

Расчет Т2 – сравнение результатов тестирования нейронной сети, обученной с различными порогами раннего останова.

Расчет Т3 – сравнение результатов тестирования нейронной сети с различным количеством нейронов скрытого слоя.

Расчет Т4 – сравнение производительности модуля MNeural для различной размерности нейронной сети с оптимальными параметрами при использовании возможностей графического ускорителя и при использовании только центрального процессора.

В каждом расчете лучшей признавалась нейронная сеть, обученная за наименьшее количество эпох и способная распознавать наиболее зашумленные изображения. Расчет Т1 показал, что наилучшие результаты дает нейронная сеть, обученная на выборке, состоящей из не зашумленных эталонов и зашумленных с уровнем шума 20%. Похожие результаты приведены в работе [16]. В результате расчета Т2 было выявлено наиболее предпочтительное значение порога раннего останова – 92%. Расчет Т3 подтвердил утверждения, выдвинутые в работе [17] – минимизация количества нейронов в скрытом слое нейронной сети не приводит к улучшению качества распознавания. Наилучшие результаты демонстрировались нейронной сетью с 9 нейронами в скрытом слое. Нейронная сеть с наиболее предпочтительными параметрами распознавала зашумленные изображения с уровнем шума до 38% с ошибкой, не превышающей 10%, и с уровнем шума до 45% – с ошибкой, не превышающей 20%. С помощью расчета Т4 были продемонстрированы преимущества использования графических ускорителей для вычислений. В таблице приведено среднее время обучения нейронной сети с переменным числом нейронов скрытого слоя – от 6 до 24 с шагом в 3 нейрона.

Таблица 1. Общее время обучения (секунд) Количество скрытых 6 9 12 15 18 21 нейронов CPU 74,4 531,96 1056,9 2237,22 4573,8 9381,54 19802, GPU 8,752 25,063 49,92 65,76 92,22 142,56 179, То есть, с ростом размерности нейронной сети коэффициент ускорения при использовании графического ускорителя возрастает многократно – с 8. для нейронной сети с 6 скрытыми нейронами до 110 для нейронной сети с скрытыми нейронами. Ускорение обучения нейронной сети, достигнутое в данной работе, превышает аналогичные результаты других авторов – [18], [19].

В частности, в работе [18], ускорение при обучении нейронной сети размерности сходной с сетью с девятью скрытыми нейронами данной работы, равнялось 7,8 раз. В [19] было достигнуто максимальное ускорение в 63 раза для нейронной сети с 25 скрытыми нейронами, что существенно меньше ускорения, достигнутого в данной работе.

В заключении говорится об основных результатах полученных в данной работе. Построена нейронная сеть прямого распространения ошибки, обучаемая по улучшенному алгоритму на основе метода Левенберга Марквардта. Разработан программный комплекс с Image Recognizer использованием построенной нейронной сети прямого распространения и возможностей графического ускорителя. Определены наиболее предпочтительные параметры программного комплекса при решении задач распознавания образов. Была успешно решена поставленная практическая задача распознавания зашумленных изображений с достаточно высокими результатами. Разработанный программный комплекс может быть применен для решения множества задач классификации и распознавания в различных областях науки и техники.

Публикации в изданиях, рекомендованных ВАК В1. Практическая реализация распознавания образа предмета с помощью нейронных сетей. Ферцев, А.А., Саров, 2012 г., Вопросы атомной науки и техники: серия «Математическое моделирование физических процессов», №1, стр. 66-75.

В2. Реализация нейронной сети для распознавания изображений с помощью технологии NVIDIA CUDA. Ферцев, А.А., Москва, 2011 г., Прикладная информатика, №6(36), стр. 102-110.

Публикации в других изданиях Восстановление образа предмета с помощью нейронных сетей.

A1.

Ферцев, А. А., Саранск: 2008 г., Журнал Средневолжского математического общества, Т. 10, стр. 202-212.

Об одном методе сегментации растровых изображений с помощью A2.

нейронных сетей встречного распространения. Ферцев, А. А. Саранск:

2010 г., Журнал Средневолжского математического общества, Т. 12, стр.

86-91.

Распознавание изображений с помощью нейронной сети и A3.

технологии NVIDIA CUDA. Ферцев, А. А. Пенза: Приволжский дом знаний, 2011. Аналитические и численные методы моделирования естественно научных и социальных проблем: сборник статей VI Международной научно-технической конференции, стр. 156-158.

Распознавание образа предмета с помощью нейронных сетей.

A4.

Ферцев, А. А. [ред.] Р. М. Шагалиев. Саров: РФЯЦ-ВНИИЭФ, 2010.

Труды XII международного семинара «Супервычисления и математическое моделирование», стр. 367-374.

Цитированная литература 1. A Method for the Solution of Certain Non-Linear Problems in Least Squares. Levenberg, Kenneth. 1944, The Quarterly of Applied Mathematics, Vol. 2, pp. 164–168.

2. An Algorithm for Least-Squares Estimation of Nonlinear Parameters.

Marquardt, Donald. 1963, SIAM Journal on Applied Mathematics, Vol. 11, pp. 431– 441.

3. A Modified Regression Algorithm for Fast One Layer Neural Network Training. Andersen, T. J. and Wilamowski, B. M. Washington DC, USA : 1995.

World Congress of Neural Networks. Vol. 1, pp. 687-690.

4. Training feedforward networks with the Marquardt algorithm. Hagan, M. T.

and Menhaj, M. 1994, IEEE Transactions on Neural Networks, Vol. 5, pp. 989-993.

5. A Constructive Algorithm for Feedforward Neural Networks. Xu, Jinhua, Ho, Daniel W.C. and Zheng, Yufan. Shanghai : Inst. of Syst. Sci., East China Normal Univ., 2004. Control Conference. Vol. 1, pp. 659 - 664.

6. Modified Levenberg-Marquardt Method for Neural Networks Training.

Suratgar, Amir Abolfazl, Bagher, Mohammad and Hoseinabadi, Abbas: World Academy of Science, 2005, Engineering and Technology, Vol. 6.

7. Efficient Algorithm for Training Neural Networks with one Hidden Layer.

Wilamowski, B. M., Chen, Yixin and Malinowski, A. Laramie, WY : Dept. of EE, Wyoming Univ., 1999. IJCNN '99. Vol. 3, pp. 1725-1728.

8. Computing Gradient Vector and Jacobian Matrix in Arbitrarily Connected Neural Networks. Wilamowski, Bogdan M., 2008, IEEE Transactions On Industrial Electronics, Vol. 55.

9. A practical Bayesian framework for backpropagation networks. MacKay, David. 1992, Neural Computation, Vol. 4, pp. 448-472.

10. Gauss-Newton approximation to Bayesian learning. Foresee, Dan and Hagan, Martin. Oklahoma City : 1997. Neural Networks, International Conference.

Vol. 3, pp. 1930-1935.

11. Poland, Jan. On the Robustness of Update Strategies for the Bayesian Hyperparameter alpha. [Online] November 2, 2001. www alg.ist.hokudai.ac.jp/~jan/alpha.pdf.

12. Algorithms for initialization of neural network weights. Pavelka, A. and Prochazka, A. 2004. Sbornk prspevku 12. rocnku konference MATLAB. Vol. 2, pp. 453–459.

13. Боголепов, Д. и Захаров, М. Сравнение OpenCL с CUDA, GLSL и OpenMP. [В Интернете] http://habrahabr.ru/blogs/hi/96122/.

14. Karimi, Kamran, Dickson, N. G. and Firas, Hamze. A Performance Comparison of CUDA and OpenCL. [Online] http://arxiv.org/ftp/arxiv/papers/1005/1005.2581.pdf.

15. UC Irvine Machine Learning Repository. [Online] http://archive.ics.uci.edu/ml/machine-learning-databases/.

16. Recognition of Noisy Numerals using Neural Network. Mashor, Mohd Yusoff and Sulaiman, Siti Noraini. 2001, International Journal of the computer, the internet and management, Vol. 9, pp. 158-164.

17. Minimum number of hidden neurons does not necessarily provide the best generalization. Kinson, Jason M. [ed.] Kevin L. Priddy, Paul E. Keller and David B.

Fogel. Applications and Science of Computational Intelligence III. Vol. 4055, pp. 11 17.

18. Neural Network Implementation Using CUDA and OpenMP. Honghoon, J., Anjin, P. and Keechul, J. Canberra : 2008. DICTA, Computing: Techniques and Applications. pp. 155–161.

19. Parallel Training of a Back-Propagation Neural Network Using CUDA.

Sierra-Canto, X., Madera-Ramirez, F. and Cetina, V. U. 2010, IEEE Computer Society, pp. 307-312.



 

Похожие работы:





 
2013 www.netess.ru - «Бесплатная библиотека авторефератов кандидатских и докторских диссертаций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.