Нейросетевые модели долговременных эффектов цветового последействия в зрительной системе
На правах рукописи
МАКСИМОВ ПАВЕЛ ВАДИМОВИЧ НЕЙРОСЕТЕВЫЕ МОДЕЛИ ДОЛГОВРЕМЕННЫХ ЭФФЕКТОВ ЦВЕТОВОГО ПОСЛЕДЕЙСТВИЯ В ЗРИТЕЛЬНОЙ СИСТЕМЕ 03.00.28 – «Биоинформатика»
АВТОРЕФЕРАТ
диссертации на соискание ученой степени кандидата биологических наук
Москва - 2008
Работа выполнена в Учреждении Российской академии наук Институте проблем передачи информации им. А.А. Харкевича РАН, в Лаборатории обработки сенсорной информации
Научный консультант:
доктор технических наук, профессор Лебедев Дмитрий Савельевич
Официальные оппоненты:
доктор биологических наук, Фролов Александр Алексеевич кандидат физ.-мат. наук, профессор (Учреждение Российской академии наук Институт высшей нервной деятельности и нейрофизиологии РАН, Москва) доктор биологических наук, Бибиков Николай Григорьевич кандидат физ.-мат. наук (ФГУП ГНЦ Акустический институт им. акад. Н.Н. Андреева, Москва)
Ведущая организация:
Учреждение Российской академии наук Научно-исследовательский институт системных исследований РАН, Москва
Защита состоится “ 11 ” декабря 2008 года в 14 часов на заседании диссертационного совета Д.002.077. при Учреждении Российской академии наук Институте проблем передачи информации им. А.А. Харкевича РАН по адресу:
127994, г. Москва, ГСП-4, Большой Каретный пер., д.
С диссертацией можно ознакомиться в библиотеке ИППИ РАН
Автореферат диссертации разослан “ “ 2008 г.
Ученый секретарь диссертационного совета Д.002.077.02, доктор биологических наук, профессор Г.И.Рожкова
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность проблемы.
Большая часть того, что известно об устройстве мозга, получено при ис следовании зрительной системы. Для понимания принципов обработки зри тельной информации наряду с морфологическими, электрофизиологическими и поведенческими экспериментами, проводимыми на животных, а также психо физическими исследованиями, проводимыми на человеке, в последние годы все шире используется компьютерное моделирование. С помощью моделирования часто удаётся согласовать противоречивые результаты, полученные посредст вом различных экспериментальных методик, и наметить пути дальнейшего раз вития исследований зрительной системы.
Особенно информативными объектами для компьютерного моделирова ния работы зрительной системы служат зрительные иллюзии, являющиеся следствиями функционирования некоторых специфических механизмов пере работки зрительной информации, эффективных и полезных в естественных ус ловиях, но дающих в искусственных экспериментальных условиях стимуляции «неверные» зрительные ощущения (не соответствующие физическим парамет рам зрительных стимулов). Очевидно, что эти устойчивые и не поддающиеся сознательному исправлению «искажения» действительности связаны с деятель ностью базовых механизмов зрения, которые ещё до конца не изучены. Иссле дование зрительных иллюзий на моделях позволит понять устройство и исход ные функции этих механизмов.
Моделирование зрительных иллюзий имеет и важное практическое зна чение. Как показывают эксперименты последнего времени, зрительная система человека уже на уровне сетчатки обладает определенной пластичностью, т.е. ее структура может трансформироваться под действием входного сенсорного по тока. Естественно, что перестройки в сетчатке и в высших зрительных центрах сказываются на зрительном восприятии в целом. Эту особенность зрительной системы необходимо учитывать там, где требуется точность зрительного вос приятия. Исследование моделей механизмов зрения позволяет предсказать воз можные ошибки зрительной системы и свести вероятность этих ошибок к ми нимуму.
Одной из самых сильных, длительных и интригующих иллюзий, не нахо дившей удовлетворительного объяснения в течение долгого времени, является эффект ориентационно-обусловленного цветового последействия, открытый С. Мак-Коллаф (McCollough, 1965) и носящий её имя: McCollough-effect (ME).
Эффект состоит в том, что после «адаптации» в течение нескольких минут к цветным решеткам на черном фоне (например, предъявляемым попеременно красным полосам, ориентированным вертикально, и зеленым полосам, ориен тированным горизонтально) при тестировании испытуемый видит соответст вующие черно-белые решетки окрашенными в дополнительные цвета в течение нескольких дней и даже недель. Существенной особенностью МЕ является от сутствие интерокулярного переноса (после адаптации одного глаза последейст вие не наблюдается при предъявлении тестовых решеток другому глазу), что считается свидетельством его периферического происхождения.
Первоначально МЕ пытались объяснить «утомлением» детекторов ориен тированных границ, открытых к тому времени в первичных отделах зрительной коры млекопитающих. Однако такое объяснение эффекта входит в противоре чие с рядом его свойств. Кроме того, позднее оказалось, что сходные эффекты цветового последействия могут быть получены и со стимулами другой конфи гурации: при адаптации к цветным периодическим решеткам одинаковой ори ентации, но разных пространственных частот, к криволинейным решеткам, от личающимся знаком кривизны, и т.п. Объяснение всех этих феноменов в рам ках «гипотезы нервного утомления» требовало привлечения новых типов встроенных детекторов. Поэтому возникла задача построения модели ME, не входящей в противоречие с известными его свойствами, но дающей достаточно долговременный эффект после кратковременной адаптации и не требующей наличия в зрительной системе большого числа встроенных специфических де текторов. По сравнению с другими долговременными эффектами (например, сравнительно недавно открытыми долговременными изменениями цветового восприятия в результате ношения цветных очков) МЕ как объект моделирова ния имеет то преимущество, что за 40 лет безуспешных попыток психофизиков найти ему объяснение накопился обширный экспериментальный материал от носительно его проявлений.
Исследование МЕ имеет важное практическое значение, поскольку дол говременные изменения цветового восприятия мелкоструктурных изображений могут приводить к ошибкам операторов, принимающих решения, например, в полиграфическом производстве или в оснащенных мониторами сложных тех нических системах, таких, как электростанция или аэропорт. С другой стороны, естественно ожидать, что исследуемые механизмы обработки зрительной ин формации были выработаны в ходе эволюции не для того, чтобы испортить ра боту зрительной системы в искусственном мире мониторов, а для того, чтобы сделать ее работу в естественных условиях более эффективной. Поэтому суще ственна и бионическая сторона исследования – сведения об устройстве и функ циях зрительной системы всегда служили источником новых идей для исполь зования в технике. Это делает актуальным компьютерное моделирование дол говременных эффектов цветового последействия в зрительной системе.
Цель исследования.
Разработка нейросетевых моделей долговременных эффектов цветового последействия;
экспериментальная проверка работы моделей в различных ус ловиях зрительной стимуляции.
Задачи исследования.
1. Построить функциональную компьютерную модель зрительной ассоциатив ной памяти, демонстрирующую эффект Мак-Коллаф.
2. В экспериментах с моделью исследовать способность фильтра новизны к устранению корреляции между сигналами отдельных элементов входных изображений.
3. Исследовать применимость разработанной схемы для организации цветосе лективных контактов нейронов сетчатки под влиянием естественного сен сорного потока.
Научная новизна результатов исследования.
Предложено новое объяснение эффекта ориентационно-обусловленного цветового последействия в терминах ассоциативной памяти и адаптивного фильтра новизны.
Создана компьютерная модель нейронного механизма на основе фильтра новизны на модифицируемых синапсах, демонстрирующая этот эффект.
Показано, что такой фильтр новизны способен устранять взаимную кор реляцию сигналов соседних элементов изображения. В частности, если эта кор реляция обусловлена несовершенной оптикой, фильтр способен уменьшать оп тические искажения.
Впервые высказана и проверена в компьютерных экспериментах гипотеза о функциональной основе ME – предполагается, что долговременные «адапта ционные» перестройки на самых начальных этапах обработки зрительного сиг нала предназначены для исправления a priori неизвестных оптических искаже ний, вносимых несовершенной оптикой глаза. Побочным продуктом работы соответствующего механизма в специальных экспериментальных условиях яв ляются иллюзии, подобные эффекту ориентационно-обусловленного цветового последействия.
В рамках развиваемых представлений об ассоциативной памяти и адап тивном фильтре новизны созданы нейронные модели механизмов установления цветоселективных контактов между нейронами сетчатки в процессе индивиду ального развития зрительной системы.
Основные положения, выносимые на защиту.
1. Предложенный фильтр новизны на модифицируемых синапсах объясняет основные свойства эффекта ориентационно-обусловленного цветового по следействия и других подобных следовых эффектов.
2. После длительной адаптации к текущему сенсорному потоку фильтр но визны способен в определенной степени устранять искажения изображе ний, вносимые несовершенной оптикой глаза.
3. Предложенная модель синаптической пластичности позволяет объяснить механизм образования цветоселективных контактов между непомеченны ми нейронами сетчатки приматов под влиянием естественного сенсорного потока, приводящего к усилению проводимости у одних синапсов и ослаб лению – у других.
Теоретическое и практическое значение работы.
Данная работа посвящена анализу информационных процессов в зри тельной системе и носит характер фундаментального исследования. Разрабо танные модели – модель эффекта ориентационно-обусловленного цветового последействия, в основе которой лежит адаптивный фильтр новизны, и модели установления цветоспецифических контактов в сетчатке приматов – могут ис пользоваться в качестве теоретического инструмента для исследований различ ных эффектов цветового последействия и последствий длительной адаптации зрительной системы к искажённым изображениям.
Предложенные способы обработки зрительной информации могут быть использованы при создании адаптивных технических систем машинного зре ния, способных к компенсации оптических искажений типа расфокусировки, астигматизма и пр., вносимых несовершенной оптикой.
Модели, описанные в диссертации, могут играть роль диагностического средства при анализе результатов психофизических экспериментов с целью вы яснения сходства или различия механизмов исследуемых феноменов.
Апробация работы.
Основные результаты работы доложены и обсуждены на двух Европей ских конференциях по зрительному восприятию (European Conference on Visual Perception – ECVP 1997, Финляндия, Хельсинки, 1997 г., ECVP 2006, Россия, Санкт-Петербург, 2006 г.), на Втором съезде физиологов Грузии с участием фи зиологов стран Черноморского бассейна (Грузия, Тбилиси, 2000 г.), на Между народных чтениях, посвящённых 100-летию со дня рождения члена корреспондента АН СССР, академика АН АрмССР Э.А. Асратяна «Фундамен тальные и клинические аспекты интегративной деятельности мозга» (Москва, 2003 г.), на Международных научно-технических конференциях «Интеллекту альные системы (IEEE AIS’03, AIS’05)» и «Интеллектуальные САПР (CAD 2003)» (Геленджик – Дивноморское, 2003 г., 2005 г.), на двух Международных семинарах по оптоинформатике (Санкт-Петербург, 2004 г., 2006 г.), на двух Международных симпозиумах по зрению «Visionarium IV» и «Visionarium VI» (Финляндия, Твярминне, 2005 г., 2007 г.), на Международном биофизическом семинаре памяти Академика Р.К. Анджуса (Черногория, Св. Стефан, 2006 г.) и на 30-й конференции молодых учёных и специалистов ИППИ им. А.А. Харке вича РАН (Россия, Звенигород, 2007 г.). Результаты диссертации неоднократно докладывались на научных семинарах в ИППИ РАН.
Публикации.
По теме диссертации опубликовано 17 работ – одна статья на русском языке в журнале, одна статья на русском языке в электронном журнале, четыре доклада в сборниках трудов конференций на русском языке, два доклада в сборниках трудов конференций на английском языке, девять тезисов докладов (восемь – на международных конференциях, один – на российской).
Личный вклад автора.
Все результаты, включенные в диссертацию, получены лично автором или при его непосредственном участии.
Структура диссертации.
Диссертация состоит из введения, четырёх глав, обсуждения, выводов и списка литературы из 108 наименований. Объем диссертации составляет страниц, включая 88 страниц машинописного текста, 11 страниц списка литера туры, 29 рисунков и 1 таблицу.
СОДЕРЖАНИЕ РАБОТЫ
Во введении обоснована актуальность темы диссертации, сформулиро ваны цель работы, научная новизна и практическая значимость результатов ис следований;
перечислены основные положения, выносимые на защиту.
Первая глава диссертационной работы носит обзорный характер. В пер вой части главы изложены основные сведения о самом эффекте ориентационно обусловленного цветового последействия и его психофизических особенностях.
В общих чертах ME напоминает изменения цветовосприятия в результате изби рательной цветовой адаптации, когда после фиксации взгляда в течение неко торого времени на ярком насыщенном цветном пятне (например, красном) и после последующего перевода взгляда на однородную ахроматическую по верхность испытуемый видит отрицательный последовательный образ в виде такого же пятна дополнительного (зеленого) цвета. В случае МЕ адаптирую щими стимулами служат взаимно-перпендикулярные решетки красного и зеле ного цветов, предъявляемые попеременно в условиях свободного разглядыва ния. После адаптации к таким решеткам в течение нескольких минут (до полу часа), при переводе взгляда на однородную ахроматическую поверхность чело век не видит никакого последовательного образа (поскольку адаптация прово дится к обоим цветам и в отсутствие фиксации взора). Однако при разглядыва нии решеток, составленных из ахроматических полос тех же ориентаций и с той же пространственной частотой, испытуемый видит их в дополнительном цвете.
Интенсивные исследования МЕ, последовавшие сразу же после его обна ружения, выявили характерные его особенности. Известно, что МЕ длится на много дольше, чем, например, последовательные образы после избирательной цветовой адаптации: последействие в ME легко видеть через неделю, а если вообще не производить тестирование в течение трех месяцев, то сила эффекта спадает за это время всего наполовину (MacKay, MacKay, 1974;
Jones, Holding, 1975). В то же время эффект быстро снижается в процессе тестирования – "за тирается" бесцветными полосками той же ориентации (Skovbo et al., 1974), и напротив, спад совершенно прекращается в отсутствие зрительной стимуляции – во время сна или когда в эксперименте один глаз надолго заклеен (MacKay, MacKay, 1977). Если адаптирующие стимулы предъявлять одному глазу, после действие не наблюдается при последующем предъявлении тестовых решеток другому глазу (McCollough, 1965). Считается, что подобное отсутствие интеро кулярного переноса связано с периферическим происхождением ME (MacKay, MacKay, 1974). Оказалось, что в отличие от последовательных образов сила по следействия в МЕ почти не зависит от интенсивности адаптирующего света (Shute, 1979;
Skovbo et al, 1975). Были также открыты сходные эффекты цвето вого последействия, вызываемые стимулами других конфигураций: при адап тации к цветным периодическим решеткам одинаковой ориентации, но разных пространственных частот (Lovegrove, Over, 1972;
Stromeyer, 1972), к криволинейным решеткам, отличающимся знаком кривизны (Riggs, 1973;
MacKay, MacKay, 1974), к шахматным решеткам (May et al., 1978).
Во второй части главы рассмотрены и проанализированы предлагавшиеся ранее объяснения эффекта ориентационно-обусловленного цветового после действия. Первоначально МЕ пытались объяснить адаптацией (утомлением) от крытых к тому времени в первичных отделах зрительной коры млекопитающих специфических детекторов ориентированных линий или границ. Предполага лось, в частности, что те из детекторов, рецептивные поля которых вытянуты вертикально и связаны с красночувствительными входами, под воздействием соответствующих адаптирующих стимулов теряют на время чувствительность.
Поэтому бесцветные вертикальные тестовые полосы воспринимаются в допол нительном, зеленом цвете. Основным недостатком гипотезы нервного утомле ния является невозможность объяснить его продолжительность.
Помимо разных вариантов гипотезы нервного утомления, опирающихся на те или иные факты относительно нейронной организации зрительной систе мы, обсуждался также ряд психофизических гипотез, нейрофизиологическая природа которых менее ясна. В частности, активно обсуждались представления о ME как обычном Павловском условном рефлексе, где в качестве безусловного стимула выступает цвет, а в качестве условного – ориентация решеток (Murch, 1976;
McCarter, Silver, 1977;
Bedford, 1997), и о связи ME с механизмами кон стантности цветовосприятия (Кезели с соавт., 1991;
Kezeli et al., 1991;
Kezeli et al., 2000;
Vladusich, Broerse, 2002;
McLoughlin, 2005).
Третий, наиболее популярный и обсуждаемый класс моделей – модели ассоциативного обучения. В основе их лежит предположение о том, что в зри тельной системе вместо нейронов, чувствительных одновременно к ориентации и цвету стимула – «double-duty neurons», имеются отдельные нейроны, чувстви тельные к ориентации (детекторы ориентации) и нейроны, чувствительные к цветовому контрасту. А процесс выработки МЕ состоит в установлении ассо циативных связей между этими нейронами (Barlow, Fldik, 1989;
Vladusich, Broerse, 2002;
Bednar, Miikkulainen, 2005;
Bednar et al., 2006;
Grossberg et al., 2002).
К сожалению, большинство предложенных объяснений МЕ ограничива лось чисто словесным описанием. Даже в тех случаях, когда оно доведено до действующих компьютерных моделей, ни в одной из моделей не проверялось, обеспечивает ли она необходимое последействие (необходимое соотношение скоростей адаптации и дезадаптации), поскольку соответствующие экспери менты не проводились. Серьезным общим недостатком моделей является то, что они используют встроенные детекторы ориентации. Для объяснения других сходных эффектов последействия (возникающих при адаптации к цветным пе риодическим решеткам одинаковой ориентации, но разных пространственных частот, к криволинейным решеткам, отличающимся знаком кривизны, к шах матным решеткам и т.п.) в модели потребуется ввести соответствующие спе цифические детекторы.
Таким образом, при попытках найти удовлетворительное единообразное объяснение эффекту ориентационно-обусловленного цветового последействия и другим подобным следовым эффектам основные трудности связаны с его длительностью (достаточно долговременный эффект после кратковременной адаптации) и с отсутствием в зрительной системе разнообразных встроенных специфических детекторов. В связи с этим представлялось целесообразным развить другой подход – в рамках представлений об ассоциативной памяти и адаптивном фильтре новизны.
В третьей части обзорной главы рассмотрены модели переработки зри тельной информации в нейронных сетях с синаптической пластичностью. При реализации фильтра новизны в виде нейронной сети функцию памяти выпол няют переменные веса связей между отдельными нейронами, которые посте пенно изменяются небольшими шагами, чтобы в процессе показа ряда изобра жений обучающей последовательности система «запомнила» их в ассоциатив ной памяти.
Входное изображение Ассоциативный образ Ассоциативная память Выходное изображение Рис. 1. Схема фильтра новизны.
Во второй главе описано устройство предложенной модели ME на осно ве фильтра новизны на модифицируемых синапсах. Модель опирается на то свойство нашей зрительной системы, что она имеет обыкновение замечать на каждом новом изображении в первую очередь новое, отличное от уже увиден ного и хранящегося в памяти (рис. 1).
В этих терминах при выработке МЕ в процессе “адаптации” в памяти формируются образы красных и зеленых полос разной ориентации. В процессе тестирования предъявляемые белые полосы определенной ориентации иниции руют соответствующий ассоциативный образ окрашенных полос, который “вы читается” из текущего тестового бесцветного изображения. В результате оста ется только непредсказуемая его часть – полосы, окрашенные в дополнитель ный цвет.
Входные цветные изображения задаются на двух (для левого и для право го глаза) квадратных растрах nn, каждый пиксель которых характеризуется двумя параметрами: интенсивностями в красном и зеленом цветовых каналах.
Нейронная модель фильтра новизны (рис. 2) состоит из трех изоморфных слоев, содержащих по m = 2n2n нейронов.
Рис. 2. Устройство нейронной модели фильтра новизны.
Входные изображения поступают на первый слой – на матрицу «рецепто ров» модели. Будем считать, что возбуждение каждого i-го входного нейрона xi, где i=1,2,...,m, определяется интенсивностью сигнала некоторого цветового ка нала в определенном пикселе входного изображения для того или иного глаза.
Каждый нейрон второго (ассоциативного) слоя синаптически связан со всеми первичными нейронами, кроме нейрона с тем же номером, и суммирует возбу ждения нейронов с весами wij, которые будем называть синаптическими про водимостями:
yi = wij x j, j причем отсутствие связи с i-ым рецептором означает, что wii 0. В третьем (выходном) слое вычисляется разность соответствующих элементов входного и ассоциативного изображений:
zi = xi yi.
Запоминание подаваемых в последовательные моменты времени t изображений состоит в изменении синаптических проводимостей wij, которое производится в соответствии со следующим правилом:
wij+1 = wij + x tj zit, t t где – некоторая константа, характеризующая синаптическую пластичность.
В процессе обучения (адаптации) на рецепторы многократно подавали изображения вертикальных красных и горизонтальных зеленых полос, что при водило к их запоминанию в распределении синаптических весов wij. Для ими тации произвольной стимуляции глаза после адаптации, когда эффект должен был забываться (спадать), подавали случайные изображения, где величина воз буждения каждого рецептора в каждый момент времени принимала случайные значения.
Величину эффекта последействия в модели, или степень "позеленения" вертикальных белых полос на тестовых изображениях оценивали по тому, на сколько в среднем по всем пикселям на белых полосах возбуждение зеленого цветового канала на выходе z превышало возбуждение красного. В том случае, когда белые вертикальные полосы “виделись” совершенно зелеными, величину эффекта принимали за единицу. Для оценки скоростей запоминания и забыва ния эффекта, полученные экспериментально кривые зависимости величины эффекта от времени аппроксимировали экспонентами. Рост величины эффекта во времени приближали формулой:
F = F1a F0 a e va (t t0 a ), а её спад – формулой:
F = F0 d e vd (t t0 d ), где t – номер такта, t0a и t0d – номера тактов, в которых начиналась адаптация и дезадаптация, F1a – предельное значение величины эффекта, F0a и F0d – ампли туда изменений эффекта в ходе адаптации и дезадаптации, а va и vd – скорости роста и спада величины эффекта. Для нахождения неизвестных значений пара метров F0a, va, F0d и vd минимизировали сумму квадратов отклонений результа тов эксперимента от расчетных значений этих функций в экспериментальных точках.
Рис. 3. Обычный эффект ориентационно-обусловленного цвето вого последействия в модели.
Временной ход величины эффекта в процессе адаптации и дезадапта ции: а – адаптация в течение 1000 тактов к попеременно предъявляе мым вертикальным красным и горизонтальным зеленым полосам;
б – дезадаптация под влиянием меняющихся от такта к такту случайных стимулов;
в – быстрое «затирание» эффекта под влиянием поперемен но предъявляемых черно-белых вертикальных и горизонтальных по лос;
пунктирной кривой показан ход выработки эффекта стимулами вдвое меньшей интенсивности, чем в случае ветви а.
Проведенные эксперименты с моделью показали, что после достаточно большого числа тактов предъявления цветных решёток модель демонстрирует эффект, величина которого медленно убывает при последующих предъявлени ях случайных стимулов – рис. 3. Отношение скоростей установления эффекта (ветвь a) и его спада (ветвь б) зависит от числа синаптических связей нейронов ассоциативного слоя с рецепторами, т.е. от размера матрицы рецепторов. На растре 66 пикселей это отношение равно 20, но при достаточно большой мат рице рецепторов эффект сохранялся бы в тысячи раз дольше, чем длительность адаптации, что примерно соответствует наблюдаемому в психофизических экс периментах. В то же время эффект быстро разрушается при демонстрации чёр но-белых решёток – ветвь в на рис. 3. Как и следовало ожидать, сила эффекта в модели совсем не изменяется при предъявлении черных стимулов, что соответ ствует прекращению спада настоящего МЕ на время сна. Скорость нарастания эффекта при прочих равных условиях сильно (квадратично) зависит от интен сивности адаптирующих решеток. Пунктирная кривая на рис. 3 показывает рост эффекта при адаптации к стимулам вдвое меньшей интенсивности, чем для сплошной кривой. Тем не менее, конечная сила эффекта от интенсивности не зависит, что можно видеть и на рис. 3.
Полученное в результате адаптации распределение синаптических прово димостей определяет структуру рецептивных полей ассоциативных нейронов.
Оно в точности совпадало с тем, каким предполагалось устройство цвето специфических детекторов ориентированных линий, утомлением которых объ ясняли МЕ ранее. Отличие в том, что там нейроны с такими рецептивными по лями существовали исходно и только адаптировались и дезадаптировались в ходе опытов, а в нашем случае эти рецептивные поля возникали в процессе адаптации (запоминания) и разрушались в процессе дезадаптации (забывания).
Несмотря на то, что в модели с двумя глазами каждый ассоциативный нейрон a priori связан с рецепторами обоих глаз (рис. 2), в определенных опы тах глаза ведут себя совершенно независимо. В частности, такая модель не де монстрирует интерокулярного переноса. То есть, если закрыть один глаз (ска жем, левый) на время адаптации (возбуждение всех его рецепторов приравни вать нулю), а подавать цветные адаптирующие полосы только на другой (пра вый) глаз, то после адаптации модели тестирование ахроматическими полосами того же (адаптированного) глаза демонстрирует эффект цветового последейст вия, а тестирование другого глаза никакого эффекта не выявляет. При этом ре цептивные поля правых ассоциативных нейронов в своих связях с рецепторами правого глаза демонстрируют полосатую структуру, в то время как связи их с рецепторами левого глаза, а также рецептивные поля всех ассоциативных ней ронов левого глаза остаются случайными – не перестраиваются в процессе адаптации.
С помощью модели фильтра новизны могут быть объяснены и другие эффекты цветового последействия, обусловленные различными пространствен ными свойствами адаптирующих стимулов, например, эффект цветового по следействия, обусловленный различной пространственной частотой стимулов.
В реальном компьютерном эксперименте на поле 88 для этого в качестве адаптирующих стимулов подавали только вертикальные решетки, различаю щиеся шириной полос: узкие красные, шириной в один пиксель, и вдвое более широкие зеленые. После адаптации тестовые белые полосы разной ширины «воспринимались» моделью в дополнительном цвете. Соответствующей полу чилась и структура рецептивных полей ассоциативных нейронов – в виде чере дующихся возбудительных и тормозных вертикальных полос разной ширины для синаптических связей с матрицами красночувствительных и зеленочувст вительных рецепторов.
В третьей главе описаны обнаруженные у модели, но исходно не преду смотренные полезные свойства, которые могут раскрыть назначение сущест вующего в зрительной системе нейронного механизма, ответственного за фе номен ориентационно-обусловленного цветового последействия. В экспери ментах с моделью выяснилось, что она обладает замечательной способностью исправления оптических искажений. Действительно, ассоциативная память способна не только к запоминанию часто встречающихся изображений для по следующего «вычитания» их из текущего изображения, но является также эф фективным средством устранения корреляции между сигналами отдельных элементов сетчатки (Barlow, Fldik, 1989), уменьшающим их избыточность.
В том случае, когда причиной взаимной корреляции сигналов соседних рецеп торов является несовершенство оптики (приводящее к расфокусировке изобра жения), устранение этой корреляции с помощью адаптивного фильтра новизны улучшает воспроизведение высоких пространственных частот. Как можно ви деть на рис. 4, вначале выход модели воспроизводит ее вход (столбец 1), но по сле адаптации к случайному шуму выходное изображение (д) во всех случаях уже больше соответствует исходному, неискаженному изображению (а), чем тому размытому, которое подается на вход (в).
Другой источник корреляции сигналов соседних колбочек – значительное перекрытие их кривых спектральной чувствительности, вследствие чего даже монохроматические излучения произвольной длины волны возбуждают кол бочки разных спектральных классов. Для того, чтобы исследовать, как в про цессе адаптации к случайному сенсорному потоку устраняется корреляция ме жду сигналами рецепторов с разной спектральной чувствительностью, были поставлены специальные модельные эксперименты. На вход модели подавались Рис. 4. Результаты экспериментов с моделью, где исходно четкие изображения подавались на «сетчатку» модели с разной степенью размытости.
По столбцам приведены результаты разных экспериментов: 1, 2, 3 – слабая расфокусировка (1 – ответ модели на случайный шум до адап тации, 2 и 3 – ответы на шум и на границу после продолжительной адаптации к случайным изображениям);
4 – сильная расфокусировка;
5, 6 – астигматизм. По строкам: а – исходное неискаженное изображе ние;
б – характер оптического искажения (пятно расфокусировки);
в – искаженное «сетчаточное» изображение, подаваемое на вход модели;
г – вызываемый им из памяти «ассоциативный образ»;
д – выход фильт ра новизны;
е – типичное распределение синаптических весов ассо циативных нейронов после адаптации к случайным изображениям (светлые цвета соответствует положительным значениям, темные – отрицательным).
цветные изображения, построенные из некоторых вспомогательных изображе ний с некоррелированными, случайными сигналами в каждом пикселе.
На изображении, подаваемом на вход модели, сигналы длинноволновых (L) и средневолновых (M) фоторецепторов строились в виде взвешенных сумм «красной» и «зелёной» составляющих данного пикселя вспомогательного изо бражения. В результате эти сигналы в каждой точке оказывались коррелиро ванными. Как видно на рис. 5, после длительной адаптации к таким сигналам фильтр новизны устраняет эту корреляцию и даже делает сигналы антикорре лированными. В электрофизиологии и психофизике цветового зрения такое преобразование входного сигнала хорошо известно и носит название цветовой оппонентности.
Рис. 5. Взаимная корреляция сигналов нейронов разных спек тральных классов – длинноволновых (L) и средневолновых (M).
Точками на графиках нанесены цвета отдельных пикселей изображе ний в системе координат L,M. График а соответствует входному изо бражению, графики б, в и г – выходу фильтра новизны на разных ста диях обучения: б – до обучения, в – в середине обучения, г – в конце обучения (в установившемся режиме).
Таким образом, в экспериментах с моделью показано, что фильтр новиз ны на модифицируемых синапсах, демонстрирующий ME, способен устранять взаимную корреляцию сигналов соседних элементов изображения, тем самым снижая избыточность информации. Когда эта корреляция обусловлена несо вершенной оптикой или неселективностью цветовых сигналов, устранение кор реляции в ходе адаптации к естественному сенсорному потоку приводит к по вышению пространственного и цветового контрастов.
Четвёртая глава посвящена моделированию адаптационных процессов, происходящих в зрительной системе под влиянием естественного сенсорного потока. Причины взаимной корреляции сигналов соседних рецепторов могут быть не только внутренними, но и внешними – возникать вследствие специфи ческих особенностей естественного зрительного окружения или создаваться целенаправленно в экспериментах по зрительной депривации. В частности, из за того, что для предметов внешнего мира типичны протяженные участки по верхностей одинаковой окраски, велика вероятность того, что на близлежащие фоторецепторы сетчатки приходят излучения одинакового спектрального со става. В результате при естественной стимуляции сигналы двух близлежащих красных рецепторов будут существенно коррелированы между собой, и сигна лы близлежащих зеленых рецепторов тоже будут коррелированы. В таких ус ловиях наличие в зрительной системе синаптической пластичности должно приводить к перераспределению синаптических связей нейронов под влиянием текущего сенсорного потока.
Этот вопрос был исследован детально в связи с проблемой организации специфических цветовых каналов, передающих сигналы от красных и зеленых колбочек в зрительной системе приматов. Предположение о том, что соответст вующие селективные синаптические контакты формируются в процессе разви тия зрительной системы с использованием специальных мембранных меток у одних нейронов и распознающих их рецепторов – у других, сталкивается с ря дом теоретических трудностей (Mollon 1997), а специальные эксперименты с генетически модифицированными пигментами колбочек доказывают, что крас ные и зеленые колбочки действительно не обладают никакими молекулярными различиями, за исключением различий содержащихся в них зрительных пиг ментов (Wang et al., 1999). Это особенно важно для периферии сетчатки, где каждый карликовый биполяр получает сигналы от нескольких колбочек, а каж дая карликовая ганглиозная клетка – от нескольких карликовых биполяров. Ес ли у этих клеток отсутствует механизм узнавания друг друга и все контакты ус танавливаются случайно, то на периферии сетчатки никакой цветоспецифично сти быть не должно. Однако имеются ряд электрофизиологических и психофи зических данных в пользу определенной селективности красного и зеленого цветовых каналов на периферии сетчатки (Martin et al, 2001;
Vakrou et al., 2005;
Buzs et al., 2006).
Альтернативное объяснение – формирование цветоспецифических кон тактов в индивидуальном развитии, в ходе адаптации к специфическому сен сорному потоку. В первой части главы рассмотрены две такие модели органи зации специфических цветовых каналов на периферии сетчатки приматов. Одна из них использует фильтр новизны на модифицируемых синапсах, другая осно вана на классическом Хэббовском синапсе для не импульсных нейронов с не сколько измененным обучающим правилом.
Ожидалось, что использование адаптивного нейронного фильтра новизны на модифицируемых синапсах в условиях, когда на вход системы подаются случайные изображения, составленные из однородных протяженных пятен раз ных цветов, обеспечит в ходе адаптации формирование специфических цвето вых каналов, а именно – приведет к установлению синаптических контактов преимущественно с красными рецепторами у одних ассоциативных нейронов и преимущественно с зелеными рецепторами – у других. Это предположение бы ло проверено экспериментально. Использовался несколько видоизмененный вариант вычислительной модели фильтра новизны. Основное отличие состояло в том, что теперь в каждом элементе квадратного растра 1515 помещался один нейрон. Распределение типов нейронов входного слоя (красных или зеленых) было выбрано заранее по жребию.
Последовательно предъявляемые для адаптации случайные цветные изо бражения были составлены из однородных цветных квадратов 55 и выглядели наподобие лоскутного одеяла. На каждом такте адаптации расположение лос кутов и цвет каждого из них задавались случайно. При такой стимуляции были коррелированными только сигналы близлежащих рецепторов одинакового ти па. Соответственно этому в результате адаптации исходно однородный набор ассоциативных нейронов оказался разделенным на два типа: одни нейроны со единились главным образом с близлежащими красными входными нейронами, другие – с зелеными – рис. 6(а). Тем самым продемонстрирована возможность установления цветоспецифических связей в зрительной системе путем адап тивных перестроек исходно однородных синаптических связей ассоциативных нейронов под действием «естественной» зрительной стимуляции.
Рис. 6. Результаты экспериментов с моделями установления цве тоспецифических контактов в сетчатке приматов: а – модель на основе фильтра новизны, б – модель на нейронной сети Хэббов ского типа.
1 – распределение нейронов входного слоя L- и M-типов (обозначены соответственно красным и зелёным цветом);
2 – пример цветного сти мула для адаптации;
3 и 4 - структура рецептивных полей двух сосед них ассоциативных нейронов («красного» – верхний ряд, и «зеленого» – нижний ряд) с входными нейронами на ранних стадиях адаптации (колонка 3) и тех же нейронов – после продолжительного периода адаптации (колонка 4);
чем темнее на рисунке квадрат сетчатки, тем сильнее связь соответствующего входного нейрона с рассматривае мым ассоциативным.
Вторая, физиологически более оправданная модель состояла из двух сло ев нейронов и была собрана на синапсах с близким к Хэббовскому правилом модификации весов. Кроме того, в нее было введено ограничение на исходный размер рецептивных полей вторичных нейронов и были запрещены отрица тельные значения синаптических весов (запрещены тормозящие связи). Изме нение синаптических проводимостей wij происходило в соответствии со сле дующим правилом:
wij = ( x j yi ) yi, где wij – приращение веса синапса, соединяющего i-й нейрон входного слоя с j-м вторичным нейроном, а xi и yj – значения возбуждений соответствующих нейронов. Такую схему можно применять для моделирования процесса форми рования цветоспецифических контактов как в наружном синаптическом слое сетчатки (между рецепторами и биполярными клетками), так и во внутреннем синаптическом слое (между биполярными и ганглиозными клетками).
Показано, что эта модель также обладает способностью устанавливать цветоселективные контакты вторичных нейронов с первичными в процессе ин дивидуального развития. На рис. 6(б) показаны результаты эксперимента по обучению этой модели на той же последовательности стимулов, которая описа на выше для фильтра новизны. Примеры связей двух вторичных нейронов со входными, образованных после кратковременного (3) и длительного (4) перио дов адаптации, приведены в верхнем и нижнем рядах рисунка. Как и в случае фильтра новизны, длительная адаптация приводит к тому, что массив вторич ных нейронов оказывается поделенным на два цветовых типа.
Таким образом, эксперименты с моделью показали, что вторичные ней роны могут устанавливать цветоспецифические связи с непомеченными нейро нами входного слоя путём адаптивного перераспределения исходно однород ных синаптических связей в ходе адаптации к зрительным стимулам, в которых цвета соседних пикселей коррелированы. Этот механизм предлагает альтерна тивное объяснение процесса формирования селективных красного и зеленого цветовых каналов на периферии сетчатки без использования специальных мем бранных меток и распознающих их рецепторов Во второй части четвёртой главы рассматривается модель формирования цветоселективных контактов карликовых биполярных клеток с одним из типов амакриновых клеток. Необходимость в построении соответствующей нейросе тевой модели с использованием синаптической пластичности возникла в связи с механизмами красно-зеленой цветовой оппонентности карликовых ганглиоз ных клеток в центральной сетчатке приматов. Д.С. Лебедев и Д. Маршак пред ложили линейную компьютерную модель сетчатки (Lebedev, Marshak, 2006), ключевым свойством которой была слегка увеличенная чувствительность амак риновых клеток OFF-типа (в отличие от клеток ON-типа) к зелёному благодаря преобладанию синаптических связей с зелеными биполярами. Поскольку здесь также отсутствуют специальные метки, позволяющие клеткам узнавать друг друга и нужным образом соединять амакриновые клетки с биполярными, есте ственно предположить, что это преобладание синаптических связей может раз виваться вследствие синаптической пластичности в ходе адаптации к текущему сенсорному потоку. В отличие от ON-канала, в OFF-канале амакриновые клет ки связываются с биполярными клетками, управляемыми не только красными и зелеными колбочками, но также и синими (Klug et al., 2003). Это позволило Д.
Маршаку предположить, что именно связи амакриновых клеток в OFF-канале с биполярными клетками, получающими сигнал от синих колбочек, приводят в ходе адаптации к различному распределению весов синапсов амакриновых кле ток в ON и OFF-каналах.
Предложена двухслойная нейронная сеть с близким к хэббовскому пра вилом модификации синаптических весов и ограниченными рецептивными по лями вторичных нейронов, которая обладает способностью устанавливать цве тоселективные контакты вторичных нейронов (амакриновых клеток) с первич ными (биполярными клетками) в процессе индивидуального развития. На осно ве этой сети предложен механизм формирования связей амакриновых клеток OFF-типа с карликовыми биполярами. Результаты моделирования показали, что преобладание связей амакриновых клеток с зелеными биполярами в OFF канале может развиваться благодаря механизмам синаптической пластичности в процессе адаптации к специфическому сенсорному потоку, обеспечивающему взаимную корреляцию сигналов синих и зеленых колбочек.
Основные результаты диссертации и выводы 1. Разработаны нейросетевые модели долговременных эффектов цветового по следействия и проведена экспериментальная проверка работы моделей в различных условиях зрительной стимуляции.
2. Созданная модель эффекта ориентационно-обусловленного цветового по следействия на основе ассоциативной памяти на модифицируемых синапсах демонстрирует такие труднообъяснимые в рамках прежних представлений свойства, как длительное последействие в отсутствие стимуляции, отсутст вие интерокулярного переноса и независимость конечной силы эффекта от интенсивности адаптирующих стимулов.
3. В той же модели воспроизводятся и другие известные эффекты цветового последействия после адаптации к стимулам с искусственно введенной кор реляцией между цветом и текстурой.
4. Разработанная модель в определенной степени обладает способностью к ис правлению оптических искажений. Это позволяет предположить, что в зри тельной системе существует адаптивный механизм, по свойствам близкий к фильтру новизны на модифицируемых синапсах, локализованный на доста точно ранних уровнях переработки зрительной информации (возможно, да же в сетчатке) и предназначенный для уменьшения корреляции между сиг налами отдельных элементов сетчатки.
5. Предлагаемые схемы взаимодействия нейронных элементов посредством модифицируемых синапсов способны к установлению цветоспецифических контактов нейронов сетчатки в результате адаптации к изображениям, где цвета близлежащих пикселей в значительной степени коррелированы. Это дает альтернативный механизм формирования селективных цветовых кана лов в ходе развития сетчатки, не использующий специальных мембранных меток и распознающих эти метки рецепторов.
Список работ, опубликованных по материалам диссертации 1. Maximov V.V., Maximov P.V. Visual associative memory can account for orienta tion-contingent colour after-effect // Goettingen Neurobiology Report 1995 / Eds.
N. Elsner, R. Menzel. Stuttgart: Georg Thieme Verlag. 1995. P. 899.
2. Maximov P.V., Maximov V.V. Visual associative memory simulates the McCollough effect // Perception. 1997. № 26. Suppl. P. 19.
3. Maximov P.V. A model of orientation-contingent color after-effect based on the visual associative memory // Proceedings of the 2nd Convention of Georgian Physiologists / Tbilisi, 2000. P. 115-117.
4. Максимов П.В. Зрительная ассоциативная память на модифицируемых си напсах как инструмент исправления оптических искажений // Фундаменталь ные и клинические аспекты интегративной деятельности мозга / М.: МАКС Пресс, 2003. С. 154-156.
5. Максимов П.В. Непредусмотренные полезные свойства, обнаруженные у мо дели зрительной ассоциативной памяти на модифицируемых синапсах, ис ходно предназначавшейся для объяснения эффекта ориентационно обусловленного цветового последействия (I). // Труды Международных на учно-технических конференций «Интеллектуальные системы» (IEEE AIS’03) и «Интеллектуальные САПР» (CAD-2003) / М.: Физматлит, 2003. Т. 1. С. 597 602.
6. Максимов П.В., Непредусмотренные полезные свойства, обнаруженные у модели зрительной ассоциативной памяти на модифицируемых синапсах, ис ходно предназначавшейся для объяснения эффекта ориентационно обусловленного цветового последействия (II). // Труды Международных на учно-технических конференций «Интеллектуальные системы» (IEEE AIS’03) и «Интеллектуальные САПР» (CAD-2003) / М.: Физматлит, 2003. Т 2. С. 359 362.
7. Maximov P.V., Maximov V.V. Visual associative memory with omitted inhibitory synaptic connections: Is it still able to improve the quality of distorted images? // III International Optical Congress ‘Optics – XXI Century’, Topical Meeting on Optoinformatics – Book of Abstracts / СПб., 2004. С. 32-33.
8. Максимов В.В., Максимов П.В. Зрительная ассоциативная память и эффект ориентационно-обусловленного цветового последействия // Биофизика. 2004.
Т. 49. № 5. С. 920-927.
9. Максимов П.В., Максимов В.В. Нейроны новизны на модифицируемых си напсах способны устанавливать селективные контакты с непомеченными красными и зелеными колбочками в сетчатке // Труды Международных на учно-технических конференций «Интеллектуальные системы» (AIS’05) и «Интеллектуальные САПР» (CAD-2005). М.: Физматлит. 2005. Т. 2. С. 297 303.
10.Maximov P. The McCollough-effect: Mechanisms and functions // Abstracts of the «Visionarium IV». Tvrminne. 2005. P. 10-11.
11.Maximov P.V., Lebedev D.S., Marshak D.W. A Role for the Blue Pathway in the Development of Red-Green Opponency // Perception. 2006. V. 35. Suppl. P. 195 196.
12.Maximov P.V. Neurons with modifiable synapses are able to establish colour specific connections in the retina. // Proceedings of the ICO Topical Meeting on Optoinformatics / Information Photonics’2006 / Eds. M.L. Calvo, A.V. Pavlov, J.
Jahns. St Petersburg: ITMO. 2006. P. 252–254.
13.Maximov P. Models of activity-dependent plasticity in the primate retina // VIPSI 2006 International Biophysics Workshop – Book of Abstracts, Belgrade: Aca demic Mind. 2006. P. 10–11.
14.Максимов П.В. Модели установления цветоспецифических контактов в сет чатке с использованием механизма синаптической пластичности // Информа ционные процессы. 2007. Т. 7. № 1. С. 104-112.
15.Maximov P.V. Models establishing colour-specific connections in the peripheral primate retina // Vision Down Under 2007 – Book of Abstracts. Palm Cove. 2007.
P. 100.
16.Максимов П.В. Использование адаптивного фильтра новизны для улучше ния качества изображений // Информационные технологии и системы (ИТиС’07). М.: ИППИ РАН. 2007. С. 271-276.
17.Maximov P.V. Activity-dependent plasticity permits to establish colour-specific connections in the retina // Abstracts of the «Visionarium VI». Tvrminne. 2007.
P. 14-15.
Максимов Павел Вадимович НЕЙРОСЕТЕВЫЕ МОДЕЛИ ДОЛГОВРЕМЕННЫХ ЭФФЕКТОВ ЦВЕТОВОГО ПОСЛЕДЕЙСТВИЯ В ЗРИТЕЛЬНОЙ СИСТЕМЕ Работа посвящена моделированию психофизического феномена, носяще го название «эффект ориентационно-обусловленного цветового последействия» или «эффект Мак-Коллаф (ME)», и аналогичных долговременных следовых эффектов на базе нейронных сетей с синаптической пластичностью. Предложе но новое объяснение эффекта ориентационно-обусловленного цветового после действия в терминах ассоциативной памяти и адаптивного фильтра новизны, и создана модель такого фильтра. Высказана и проверена в компьютерных экспе риментах гипотеза о функциональной основе ME как побочного продукта ме ханизма, предназначенного для исправления a priori неизвестных оптических искажений, вносимых оптикой глаза.
На основе модели ME созданы нейроные модели механизмов установле ния цветоселективных контактов между нейронами сетчатки в процессе инди видуального развития зрительной системы. Эксперименты с этими моделями показали, что вторичные нейроны могут устанавливать цветоспецифические связи с непомеченными входными нейронами путём адаптивного перераспре деления исходно однородных синаптических связей в ходе адаптации к специ фическому сенсорному потоку.
Maximov Pavel Vadimovich NEURAL NETWORK MODELS OF LONG-TERM COLOUR AFTER-EFFECTS IN THE VISUAL SYSTEM The work is dedicated to modeling of the psychophysical phenomenon called the orientation-contingent colour after-effect or the McCollough-effect (ME) and similar after-effects by means of neural networks with synaptic plasticity. New ex planation of the orientation-contingent colour after-effect was proposed in terms of the associative memory and the adaptive novelty filter, and the model of such a filter was created. The hypothesis of the functional basis of the ME was suggested and checked in computer experiments. The ME was considered as a by-product of some mechanism, designed for correction of a priori unknown optical image distortions due to aberrations of the eye optics.
On the basis of the ME model, the neuronal models of the mechanisms for es tablishing colour-selective contacts in the retina during individual development of a visual system were created. The experiments with the models showed that secondary neurons can establish colour-specific connections with unlabelled input neurons by means of adaptive rearrangement of initially uniform synaptic connections in the course of adaptation to specific sensory flow.