авторефераты диссертаций БЕСПЛАТНАЯ  БИБЛИОТЕКА

АВТОРЕФЕРАТЫ КАНДИДАТСКИХ, ДОКТОРСКИХ ДИССЕРТАЦИЙ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ

Моделирование когнитивной эволюции - направление исследова-

ний на стыке математики и биологии*

В.Г. Редько

Научно-исследовательский институт системных исследований РАН, Москва

vgredko@gmail.com

Аннотация. Анализируются подходы к моделированию когнитивной эволюции – эволюции

познавательных способностей биологических организмов. Показано, что такое моделирование

связано с теорией познания, с основаниями наук

и, с основаниями математики. Очерчен задел по моделям когнитивной эволюции, развитый в направлении исследований «Адаптивное пове дение». Предлагаются контуры программы будущих исследований когнитивной эволюции.

Введение В последнее время активно развиваются междисциплинарные когнитивные исследования, посвященные изучению познавательных процессов [1, 2]. По-видимому, наиболее серьезные и глубокие когнитивные процессы – это процессы научного познания. С этими процессами связа ны глубокие проблемы. Насколько способен человек познавать внешний мир? Как познава тельные способности человека возникли? Есть ли биологические предшественники наших по знавательных способностей? Насколько можно промоделировать когнитивную эволюцию – эволюцию познавательных способностей биологических организмов? Почему это моделирова ние интересно и важно? Есть ли задел такого моделирования? В настоящей статье обсуждаются эти интригующие вопросы.

В разделе 1 аргументируется, что моделирование когнитивной эволюции может прояснить глубокую гносеологическую проблему: почему формальный логический вывод, сделанный че ловеком, применим к реальным объектам в природе? В разделе 2 кратко характеризуется на правление исследований «Адаптивное поведение», в котором изучаются модельные «организ мы», способные приспосабливаться к внешней среде. Это направление может рассматриваться как задел построения моделей когнитивной эволюции. Примеры моделей адаптивного поведе ния излагаются в разделе 3. Аспекты исследований адаптивного поведения, связанные с изуче нием когнитивной эволюции, обсуждаются в разделе 4. В разделе 5 предлагаются контуры про граммы будущих исследований когнитивной эволюции. Раздел 6 содержит краткие выводы.

1. Гносеологическая проблема Существует нетривиальная гносеологическая проблема: почему формальный логический вы вод, сделанный человеком, применим к исследованию реальных объектов в природе? Рассмот рим эту проблему.

Математики доказывают теоремы. Результаты, полученные математиками, используются в естественных науках. Например, мощь физики, одной фундаментальных естественных наук не посредственно связана с эффективным использованием математики. Но математические дока зательства носят формальный характер. Математик доказывает теоремы совсем независимо от реальной природы, используя свое логическое дедуктивное мышление. Почему же это фор мальное логическое дедуктивное мышление применимо для получения результатов, используе мых в научном познании реальной природы? Проблема, действительно, нетривиальна. Причем проблема, несомненно, важна: ее исследование – это определенное обоснование всего научного познания.

*

Работа выполнена при финансовой поддержке РФФИ (проект № 10-01-00129).

В [3, 4] был намечен подход к исследованию проблемы. Подход вполне естественный: разо браться, как и почему в процессе биологической эволюции произошли те логические формы, которые используются в математических доказательствах. Но можно ли в принципе пойти этим путем? Для того чтобы показать, что это в принципе возможно, приведем следующую анало гию.

Одно из элементарных правил, которое использует математик в логических заключениях, – правило modus ponens: «если имеет место А, и из А следует В, то имеет место В», или {А, A B} = B. Перейдем от математика к собаке, у которой вырабатывают классический условный рефлекс. При выработке рефлекса в памяти собаки формируется связь «за УС должен последо вать БС» (УС – условный стимул, БС – безусловный стимул). Когда после выработки рефлекса собаке предъявляют УС, то она, «помня» о хранящейся в ее памяти «записи» УС БС, делает элементарный «вывод» {УС, УС БС } = БС. И собака ожидает БС.

Конечно, чисто дедуктивное применение правила modus ponens математиком и индуктивный «вывод», который делает собака, явно различаются. Аналогия есть аналогия, у нее есть и сла бые стороны. Тем не менее, и в первом и во втором случаях речь идет о следственной связи ме жду математическими утверждениями либо событиями: из А следует В, за УС следует БС. В обоих случаях есть следственная зависимость одного от другого (A B либо УС БС). Хотя контексты следственной связи в этих двух случаях различны: в первом случае В есть формаль ное логическое следствие A;

во втором случае в процессе наблюдений формируется и запоми нается причинно-следственная связь между событиями УС и БС, следующими одно за другим во времени.

Тем не менее, указанная аналогия позволяет задуматься об эволюционных корнях логиче ских правил, используемых в математике. Не исключено, что простейшие формы дедуктивных правил возникли как обобщение индуктивных правил.

Отметим, что история возникновения полноценных математических доказательств (с систе мой аксиом и теорем, как в геометрии Евклида) весьма нетривиальна. Это уже происходило в человеческом обществе и в происхождении математических доказательств важную роль играли и вера в идеальные математические образы, и стремление к красоте математической строгости.



См. например, хороший аналитический обзор в книге В.Ф. Турчина «Феномен науки» [5], в ко торой рассмотрено, как в древней Греции возникло стремление к строгости математического мышления и как это стремление привело к четким математическим доказательствам.

Также подчеркнем, что правила логического вывода, используемые при математических до казательствах, известны и достаточно хорошо формализованы [6]. В основе этих выводов – элементарные правила, подобные modus ponens.

Отметим, что близкие вопросы давно интересовали ученых. В 1781 году появилась знамени тая «Критика чистого разума» И. Канта [7], а два года спустя вышло популярное изложение «Критики…» «Пролегомены1 ко всякой будущей метафизике, могущей появиться, как наука»

[8]. И. Кант провел исследование познавательных процессов в определенном приближении – приближении фиксированного мышления взрослого человека. Он не задавался вопросом, отку да берутся познавательные способности, он просто констатировал факт, что они существуют, и исследовал, как они работают. В результате этого анализа И. Кант пришел к выводу, что суще ствует система категорий, концепций, логических правил и методов вывода, которые исполь зуются в познании природы. Эта система «чистого разума» имеет априорный характер, – она существует в нашем сознании прежде всякого опыта – и является основой научного познания природы.

Естественно, что приближение фиксированного мышления человека наложило свой отпеча ток: И. Кант утверждает – и вполне логично (!) – что так как «чистый разум» априорен, то наш рассудок в познавательном процессе предписывает свои законы природе [8]:

Термин «пролегомены» означает предварительные рассуждения, введение в изучение.

«…хотя вначале это звучит странно, но тем не менее верно, если я скажу: рассудок не черпает свои законы (a priori) из природы, а предписывает их ей».

Наверно, во времена И. Канта было разумно ограничиться приближением фиксированного мышления взрослого человека – все сразу не охватишь. Кроме того, не было еще теории проис хождения видов Ч. Дарвина. Естественно, что после появления этой теории должна была про изойти ревизия концепции априорного «чистого разума». И она произошла. Очень четко ее вы разил один из основателей этологии К. Лоренц в статье «Кантовская концепция a priori в свете современной биологии» [9]. Согласно К. Лоренцу кантовские априорные категории и другие формы «чистого разума» произошли в результате естественного отбора:

«Не были бы законы разума, необходимые для априорного мышления, совершенно иными, если бы они сформировались абсолютно другим историческим способом и если бы мы, следовательно, были оснащены иным типом нервной системы? И вообще, возможно ли, чтобы законы нашего когнитивного аппарата не были связаны с законами реального внешне го мира?»

«…наши категории и формы восприятия, зафиксированные до индивидуального опыта, адаптированы к внешнему миру в точности по тем же причинам, по которым копыто лошади адаптировано к степному грунту еще до того, как лошадь рождается, а плавник рыбы – к во де до ее появления из икринки».

Составляющие «чистого разума» возникали постепенно в процессе эволюции, в результате многочисленных взаимодействий с внешним миром. В эволюционном контексте «чистый ра зум» совсем не априорен, а имеет явные эволюционные эмпирические корни.

По существу, И. Кант и К. Лоренц показали, что если не рассматривать эволюционное про исхождение методов познания, то нет ответа на поставленный в начале раздела вопрос о при менимости логического мышления человека к познанию природы.

Как же исследовать происхождение логического мышления? Как конкретно вести моделиро вание когнитивной эволюции? Есть ли задел таких исследований? Оказывается, что такой задел имеется. Модели познавательных свойств живых организмов развиваются в рамках направле ния исследований «Адаптивное поведение». Охарактеризуем это направление.

2. Направление исследований «Адаптивное поведение»

Направление «Адаптивное поведение» развивается с начала 1990-х годов [10-12]. Основной подход направления – конструирование и исследование искусственных (в виде компьютерной программы или робота) «организмов», способных приспосабливаться к внешней среде. Эти ор ганизмы часто называются «аниматами» (от англ. animal и robot: animal + robot = animat) или автономными агентами. Исследователи адаптивного поведения разрабатывают такие модели, которые применимы к описанию поведения как реального животного, так и искусственного анимата. Дальняя цель этих работ (пока еще нереализованная) – анализ эволюции когнитивных способностей животных и происхождения интеллекта человека. При этом данное направление исследований рассматривается как бионический подход к разработке систем искусственного интеллекта.

Отметим, что хотя «официально» направление «Адаптивное поведение» было провозглаше но в 1990 году, были явные провозвестники этого направления. Приведем примеры из истории отечественной науки. В 1960-х годах блестящий кибернетик и математик М.Л. Цетлин предло жил и исследовал модели автоматов, способных адаптироваться к окружающей среде [13]. В 1960-70-х годах под руководством талантливого кибернетика М.М. Бонгарда был предложен интересный проект «Животное», направленный на моделирование адаптивного поведения ис кусственных организмов с иерархией целей и подцелей [14]. Хороший обзор ранних работ по адаптивному поведению представлен в книге М.Г. Гаазе-Рапопорта, Д.А. Поспелова «От амебы до робота: модели поведения» [15].

В современных исследованиях адаптивного поведения используется ряд нетривиальных компьютерных методов (для краткости приводим только ссылки на ключевые монографии по этим методам):

нейронные сети [16], генетический алгоритм [17] и другие методы эволюционной оптимизации, классифицирующие системы (Classifier Systems) [18], обучение с подкреплением (Reinforcement Learning) [19].

Рис. 1 иллюстрирует междисциплинарные связи направления исследований «Адаптивное по ведение». Как аргументировано выше, это направление связано с теорией познания, с исследо ваниями когнитивной эволюции. Моделирование адаптивного поведения связано с исследова ниями естественного интеллекта – интеллект необходим для организации поведения [14, 20].





Приложения моделей адаптивного поведения – искусственный интеллект, робототехника, мо дели адаптивного поведения в социально-экономических системах [21-23].

Теория познания, Природа естественного исследования интеллекта (интеллект необходим для когнитивной эволюции организации поведения) Моделирование адаптивного поведения Искусственный Модели социальных Робототехника систем интеллект Рис. 1. Междисциплинарные связи направления исследований «Адаптивное поведение»

«Адаптивное поведение» – хорошо сформировавшееся направление исследований. Есть ме ждународное общество исследователей, работающих в этом направлении (сайт общества:

http://www.isab.org), издается журнал Adaptive Behavior, раз в два года проводятся международ ные конференции по моделированию адаптивного поведения.

В моделях адаптивного поведения часто используется феноменологический подход: предпо лагается, что существуют формальные правила поведения, и эти правила не обязательно связа ны с конкретными микроскопическими нейронными или молекулярными структурами, которые есть у живых организмов. Естественно ожидать, что для моделирования когнитивной эволюции феноменологический подход должен быть эффективен, так как очень трудно сформировать це лостную картину познавательных способностей на основе анализа всего сложного многообра зия функционирования нейронов, синапсов, молекул.

Примеры моделей адаптивного поведения кратко излагаются в следующем разделе.

3. Примеры моделей адаптивного поведения 3.1. Модели мозга и поведения в Институте нейронаук В Институте нейронаук (сайт института: http://www.nsi.edu), руководимом Дж. Эдельманом, ведутся разработки поколений моделей работы мозга (Darwin I, Darwin II,…) и исследования адаптивного поведения искусственного организма NOMAD (Neurally Organized Mobile Adaptive Device), система управления которого построена на базе этих моделей.

Работы по NOMAD’у – исследование поведения адаптивного устройства, использующего модели мозга (авторы называют его также Brain-based device), принципы моделирования кото рого состоят в следующем:

1) устройство помещается в реальную физическую среду, 2) имеется некоторая поведенческая задача, которую должно решать устройство, 3) поведение устройства контролируется модельной нервной системой, которая отражает архи тектуру мозга и динамику процессов в мозге, 4) поведение устройства и процессы в модельной нервной системе должны допускать сравне ние с экспериментальными биологическими данными.

В одной из последних работ по NOMAD’у [24] промоделировано поведение мыши в лаби ринте Морриса.

Исследования поведения мыши или крысы в лабиринте Морриса – один из канонических биологических экспериментов, который состоит в следующем. Имеется бассейн с непрозрачной жидкостью (например, это может быть вода, подкрашенная молоком), на бортах бассейна есть рисунки, которые мышь видит и может использовать для ориентировки. В определенном месте бассейна есть скрытая платформа, которую мышь может найти и тем самым спастись – не уто нуть. Мышь бросают в бассейн, она плавает некоторое время и либо находит платформу и спа сается, либо начинает тонуть (тогда ее спасает экспериментатор). После ряда экспериментов мышь начинает использовать ориентиры на бортах бассейна и находить платформу за доста точно короткое время.

Поведение NOMAD’а в лабиринте Морриса моделировалась следующим образом [24].

NOMAD представлял собой подвижное устройство на колесах, управляемое нейронной сетью, состоящей из 90000 нейронов, в которой было выделено 50 различных нейронных областей, в частности, были выделены несколько областей гиппокампа. В сети было 1.4·106 синаптических контактов (синапсов) между нейронами. Программно нейронная сеть была реализована на ос нове компьютерного кластера. При моделировании детально исследовались процессы, проис ходящие в разных нейронных областях.

Сенсорная система NOMAD’а включала зрение, обонятельную систему, позволяющую от слеживать свои собственные следы, систему инфракрасных приемников-излучателей, обеспе чивающую избегание столкновений, и специальный детектор скрытой от зрения платформы, позволяющий обнаруживать эту платформу только тогда, когда NOMAD находился непосред ственно над ней.

NOMAD помещался в комнату, в которой была скрытая платформа;

на стенах комнаты были разноцветные полосы – ориентиры. В начале каждого из компьютерных экспериментов NOMAD помещался в разные участки комнаты, задача NOMAD’а была найти скрытую плат форму. Обучение нейронных сетей NOMAD’а осуществлялось по модифицированному правилу Хебба (увеличение или уменьшение веса синаптической связи между активными нейронами) на основе подкреплений (получаемых при нахождении скрытой платформы) и наказаний (полу чаемых при приближении к стенам комнаты).

Было продемонстрировано, что 1) NOMAD обучается находить платформу достаточно быстро (за 10-20 попыток);

2) в модельном гиппокампе формируются нейроны места, активные только тогда, когда NOMAD находится в определенных участках комнаты;

3) в модельном гиппокампе формируются связи между отдельными нейронными областями, отражающие причинно-следственные зависимости.

Итак, изложенная модель представляет собой интересное эмпирическое компьютерное ис следование самообучающегося адаптивного устройства, хорошо продуманное с биологической точки зрения.

3.2. Бионическая модель поискового адаптивного поведения Одно из актуальных направлений исследований в рамках моделирования адаптивного пове дения – имитация поискового поведения животных. В работе [25] промоделировано поисковое поведение на примере личинок ручейников Chaetopteryx villosa, обитающих на дне водоемов.

Личинки носят на себе «домик» – трубку из песка и других частиц, которые они собирают на дне водоемов. Частицы скрепляются между собой по краям с помощью клейкой белковой нити.

Строительство домика требует меньше времени, усилий и белка, если личинки используют от носительно крупные и плоские частицы. Однако поиск крупных частиц на дне водоема требует затрат времени и энергии, не известных личинке заранее. Задача осложняется еще и тем, что личинки при поиске частиц не пользуются зрением и могут обнаружить частицу и определить её размер только на ощупь, что требует дополнительных затрат времени.

В [25] построена компьютерная модель поискового поведения личинок ручейников, строя щих чехол-домик из частиц разного размера и ведущих поиск скоплений подходящих частиц.

Модель использует понятие мотивации, а именно мотивации к прикреплению частиц к домику.

Динамика регулирующей поведение мотивации M(t) описывается уравнением:

M(t) = k1 M(t-1) + (t) + I(t), (1) время t дискретно, k1 – параметр, характеризующий медленную релаксацию мотивации (0 k 1, 1- k1 1 ), (t) – случайные вариации мотивации, величина I(t) характеризует направленное изменение мотивации при тестировании модельной личинкой частиц:

I(t) = k2 (Scurr – Slast) / Slast, (2) где k2 – положительный параметр, Scurr – площадь тестируемой в данный момент частицы, Slast – площадь последней протестированной ранее частицы. Если мотивация M(t) достаточно велика, то происходит сбор и прикрепление частиц к домику, если M(t) мала, то модельная личинка ищет новое место с подходящими размерами частиц.

Построенная модель качественно согласуется с биологическими экспериментальными дан ными: как в эксперименте, так и в модели к домику преимущественно прикрепляются крупные частицы, есть сильный разброс числа прикрепляемых частиц и момента начала прикрепления, число прикрепляемых частиц в обоих случаях невелико.

Отметим, что согласно (1), (2) динамика мотивации проста и эффективна. Она учитывает инерцию изменения, случайные вариации и направленное изменение M(t). Аналогичная дина мика M(t) может быть использована и в других подобных задачах. Разработанный подход мож но использовать при моделировании регулирования переключений между тактиками поведения в случае нескольких потребностей и целей живого организма или искусственного анимата, на пример, мобильного робота. Также аналогичная динамика мотивации применима при поиске экстремума функции нескольких переменных. Соответствующее моделирование было проведе но и показана возможность реализации аналога известного «овражного» метода [26] оптимиза ции. Суть реализованного нами метода состоит в том, что вводится мотивация к сохранению направления поискового движения, при большой величине M(t) направление движения сохра няется, при малых M(t) направление поиска случайно варьируется. Если минимизируемая функ ция имеет достаточно глубокий «овраг», в котором она слабо меняется, то сначала в данном ме тоде быстро находится сам овраг, а затем происходит постепенная минимизация функции при движении вдоль оврага.

3.3. Модель автономных агентов с естественными потребностями В работе [27] исследовано адаптивное поведение популяции автономных агентов, имеющих несколько естественных потребностей: питание, размножение, безопасность. Каждый агент об ладает ресурсом R(t), который увеличивается при питании и уменьшается при выполнении аген том других действий (время t дискретно). Мир, в котором находились агенты, состоял из двух клеток: одна клетка являлась опасной для агентов, вторая – безопасной. Периодически статус клеток менялся: опасная клетка становилась безопасной, и, наоборот, клетка, бывшая безопас ной, становилась опасной. Агент, находящийся в опасной клетке, каждый такт времени терял большой ресурс. В мире имелась восполняемая пища агентов. Агенты выполняли следующие действия: деление, питание, перемещение в другую (альтернативную из двух) клетку, отдых.

Система управления агента представляла собой набор правил вида: «Если имеет место си туация S, то необходимо выполнить действие A». Ситуация S – это набор параметров, характе ризующих внешнюю и внутреннюю среду агента. Каждое правило имеет свой вес. Веса правил модифицировались как путем самообучения агентов, так и в процессе эволюционной оптимиза ции. Обучение проводилось методом обучения с подкреплением [19]. При делении агента ре сурс родителя делился пополам между родителем и потомком. Правила выбора действий по томка отличались от правил родителя малыми мутациями. При выборе агентом действия опре делялась текущая ситуация и из соответствующих ситуации правил с большой вероятностью выбиралось правило с максимальным весом, а с малой вероятностью – произвольное правило.

Соответствующее выбранному правилу действие выполнялось.

Специальным выбором параметров модели задавались следующие случаи: А) случай L (чис тое обучение), в этом случае веса правил настраивались путем обучения с подкреплением;

Б) случай E (чистая эволюция), в этом случае веса правил модифицировались в результате мута ций и отбора делящихся агентов;

В) случай LE (обучение + эволюция), для которого веса пра вил модифицировались как путем обучения, так и в процессе эволюционной оптимизации.

Компьютерное моделирование продемонстрировало, что во всех трех случаях после форми рования правил агенты своевременно перемещались из опасной клетки в безопасную, при чис том обучении (случай L) агенты в основном выполняли действия, соответствующие потребно стям питания и безопасности, а при эволюционной оптимизации (случай E) дополнительно к этому увеличивалась частота действий, соответствующих потребности размножения. В случае LE поведение агентов было близко к таковому в случае L.

Итак, моделирование продемонстрировало формирование достаточно естественного поведе ния агентов. Существенно, что при эволюционной оптимизации важную роль играло размно жение, так как в этом случае веса правил настраивались при делении агентов за счет мутаций и отбора.

3.4. Модель формирования обобщающих эвристик В модели [28] исследовалось поведение одного автономного агента в двумерной клеточной среде. Считалось, что каждый такт времени t агент выполняет одно из следующих действий:

питание, перемещение на одну клетку вперед, поворот направо или налево, отдых. В половине клеток случайным образом размещены порции пищи. Как и в предыдущей модели, агент обла дает ресурсом R(t), который увеличивается при питании и уменьшается при выполнении других действий. Система управления агента представляет собой набор правил вида: «Если имеет ме сто ситуация Sk, то необходимо выполнить действие Ak », k – номер правила. Каждое правило имеет свой вес Wk, веса правил модифицируются при обучении агента. Компоненты вектора Sk принимают значения 0 или 1;

они соответствуют наличию или отсутствию порции пищи в оп ределенной клетке в «поле зрения» агента. Поле зрения включает в себя четыре клетки: ту клетку, в которой агент находится, клетку впереди агента и клетки справа и слева от агента.

Каждый такт времени агент осуществляет выбор действия и обучается. Выбор действия осуществляется следующим образом. Если имеются правила, для которых все компоненты век тора Sk совпадают с компонентами вектора текущей ситуации S(t), то из этих правил с вероят ностью 1- выбирается то правило, для которого вес Wk максимален, и выполняется действие Ak, входящее в это правило, а с вероятностью выполняется случайное действие. Случайное дейст вие выполняется также и тогда, когда нет правил, для которых Sk = S(t). Если при случайном выборе действия A у рассматриваемого агента правило S(t) A отсутствует, то это новое пра вило добавляется к имеющимся, вес его полагается равным 0. При моделировании использовал ся «метод отжига» [29]: на начальных тактах моделирования, когда логические правила еще не сформированы, полагалось ~ 1, со временем величина уменьшалась до нуля. При обучении веса правил Wk модифицируются методом обучения с подкреплением [19]. В результате обуче ния увеличиваются веса правил, применение которых приводит к росту ресурса агента.

Дополнительно в компьютерную программу вводилась процедура усреднения. Агент для ка ждого действия проводил усреднение по времени, а именно, вычислялось среднее число приме нений данного действия по всему времени расчета для той или иной текущей ситуации S(t). Это позволяло агенту производить обобщение ситуаций и формировать понятия, характеризующие внешнюю среду.

После формирования правил агент выполнял следующие преимущественные действия. Дей ствие питание выполняется, если имеется пища в той клетке, в которой находится агент (неза висимо от того, имеется ли пища в других клетках поля зрения агента). Действие перемещение на одну клетку вперед выполняется, если нет пищи в той клетке, в которой находится агент, и имеется пища в клетке впереди агента. Действие поворот направо/налево выполняется, если нет пищи в той клетке, в которой находится агент, и в клетке впереди агента, но имеется пища в клетке справа/слева от агента. Частота действия отдых пренебрежимо мала. Тем самым авто номный агент формировал обобщающие эвристики, определяющие его поведение и приводя щие к нахождению пищи.

Кроме этого, за счет процедуры усреднения агент формировал и внутренние понятия «име ется пища в моей клетке», «имеется пища в клетке впереди меня», «имеется пища в клетке справа/слева от меня». Итак, наблюдая за ситуациями и выполняемыми действиями, агент спо собен самостоятельно формировать понятия, обобщающие сенсорную информацию.

3.5. Взаимодействие между обучением и эволюционной оптимизацией систем управления автономных агентов В [30] исследовалась модель эволюции популяции автономных самообучающихся агентов.

Система управления агентов содержит два нейросетевых блока, которые предназначены 1) для прогноза будущих ситуаций S во внешней среде при тех или иных действиях агента и 2) для оценки суммарной награды R(S), которую можно получить, исходя из ситуации S. В соответст вии этими оценками агент выбирает действия. При обучении агентов использовался метод обу чения с подкреплением [19].

Помимо обучения исследованные агенты эволюционировали, т.е. имелась популяция агентов и нейросетевые системы управления агентов оптимизировались и с помощью дарвиновской эволюции. Предполагалось, что начальные веса синапсов нейронных сетей, получаемые аген тами при рождении, передаются от родителей к потомкам, испытывая при этом малые мутации.

Причем, чем больше суммарная награда (ресурс) агента R, полученная им в течение поколения, тем больше шансов имеет агент дать потомков в следующее поколение.

Таким образом, каждый агент имел два набора весов синапсов нейронных сетей: начальные веса G, передаваемые от родителя к потомкам и составляющие геном агента, и текущие веса W.

Начальные веса G не менялись в течение жизни агента, они оптимизировались путем эволюции, в результате мутаций и отбора. В момент рождения агента текущие веса полагались равными начальным: W = G. В течение жизни агента текущие веса W улучшались путем обучения, но потомкам эти веса не передавались.

Исследование модели проводилось на примере модельных агентов-ящериц, приспосабли вающихся к изменению температуры во внешней среде. Предполагалось, что имеется два места, которые ящерицы могут выбирать: место на камешке, место в норке. Естественное поведение таково: при высокой температуре ящерица греется на камешке, при низкой температуре она за бирается в норку и сохраняет накопленное тепло. Подкрепления (изменения ресурса) агента ящерицы зависели от того, насколько действия ящерицы соответствовали этому естественному поведению.

При компьютерном моделировании был обнаружен интересный эффект. Хотя эволюция по пуляции агентов была дарвиновская, в течение нескольких поколений эволюции происходила генетическая ассимиляция приобретаемого навыка к росту ресурса агентов. Рис. 2 показывает динамику ресурса наилучшего агента в популяции R(t) в течение первых пяти поколений.

R(t) 0 1000 2000 3000 4000 - t Рис. 2. Зависимость ресурса лучшего в популяции агента R(t) от номера такта времени t для первых пяти поколений. Длительность поколения равна 1000 тактов времени Видно, что в течение первых двух поколений значительный рост ресурса лучшего в популя ции агента начинается только после задержки 300-500 тактов времени;

т.е. агент оптимизирует свою стратегию поведения при помощи обучения. От поколения к поколению агенты находят хорошую стратегию поведения все раньше и раньше. К пятому поколению лучший агент «зна ет» хорошую стратегию поведения с самого рождения, и обучение не приводит к существенно му улучшению стратегии. Такая генетическая ассимиляция навыка увеличивать свой ресурс R соответствует эффекту Болдуина, который был предложен более 100 лет назад [31, 32]. Инте ресно то, что в модели [30] эта ассимиляция происходила быстро, в течение всего 3-5 поколе ний, т.е. в дарвиновской эволюции наблюдались определенные черты, характерные для ламар ковских процессов.

Закончим изложение конкретных моделей и возвратимся к общему обсуждению моделиро вания когнитивной эволюции на базе исследований адаптивного поведения.

4. Модели адаптивного поведения и задача исследования когнитивной эво люции Кратко отметим близкие к моделированию когнитивной эволюции работы, ведущиеся в рам ках направления «Адаптивное поведение».

В ряде ранних работ исследовались модели условных рефлексов. Здесь мы приведем только ссылки на некоторые из этих моделей [15, 33, 34].

В последнее время активно развиваются исследования антисипаторного поведения, при ко тором животное предвидит будущие ситуации и использует это предвидение при организации поведения [35].

Интересные работы связаны с методами формализации правил принятия решения. Напри мер, в [36] предложены обобщенные, соответствующие разным уровням биологической эволю ции правила принятия решений. Правила учитывают ассоциативные модели, модели классиче ского и инструментального условного рефлексов, модели предвидения результатов действия.

Проработаны схемы обучения и принятия решения на основе этих правил, проведено компью терное моделирование, подтвердившее эффективность предложенных правил.

Некоторые работы анализируют эволюционные аспекты становления нейронных структур мозга животных, обеспечивающих познавательные процессы. Например, в [37] проанализиро вана эволюция нейронных структур мозга, играющих важную роль при выборе действий, обес печивающих адаптивное поведение.

Отметим работы и с другой стороны – со стороны исследования логических процессов на стыке с «логикой» поведения животных. В статье В.Ф. Турчина (1987 г.) [38] предпринята весьма нетривиальная попытка пересмотра оснований математики и рассмотрена возможность построения предиктивных логических процессов в контексте теории множеств и кибернетиче ского подхода к обоснованию математики. В недавних работах Е.Е. Витяева и А.В. Демина [39 41] начато интересное исследование «индуктивной логики» аниматов на основе биологических теорий П.К. Анохина и П.В. Симонова. В частности, разработана логическая модель адаптив ной системы управления анимата и на примере задачи фуражирования показано, что логическая модель может быть эффективней метода обучения с подкреплением. Отметим, что, развивая подход работ [39-41], можно попытаться проанализировать переход от индуктивной логики (точнее, той «логики», которую используют животные при организации своего поведения) к де дуктивной (той, которую используют математики при доказательстве теорем).

Итак, работы по когнитивным моделям адаптивного поведения ведутся. Хотя пока это скорее накопление материала, а не последовательное изучение когнитивной эволюции.

Каковы же эволюционные уровни, на которых стоит остановиться? Как от простых форм адаптивного поведения идти к логическим формам, используемым в научном познании? По пытка выделения ключевых эволюционных уровней сделана в следующем разделе.

5. Контуры программы будущих исследований когнитивной эволюции Анализ современных исследований адаптивного поведения показывает, что хотя проделана большая работа и есть много интересных моделей, ученые еще далеки от понимания того, как возникали и развивались системы управления адаптивным поведением, как развитие этих сис тем способствовало эволюции когнитивных способностей животных, и как процесс когнитив ной эволюции привел к возникновению логического мышления. Образно говоря, у нас уже есть некоторые небольшие фрагменты картины, но мы еще не видим всей картины. Предложим кон туры программы будущих исследований, нацеленных на моделирование когнитивной эволю ции.

А) Моделирование адаптивного поведения модельных организмов с несколькими есте ственными потребностями: питания, размножения, безопасности. Фактически, уже начато моделирование в этом направлении;

простая модель автономных агентов с естественными по требностями кратко характеризуется в разделе 3.3.

Б) Исследование перехода от физического уровня обработки информации в нервной системе животных к уровню обобщенных образов. Такой переход можно рассматривать, как появление в «сознании» животного свойства «понятие». Обобщенные образы можно предста вить как мысленные аналоги наших слов, не произносимые животными, но реально используе мые ими. Например, у собаки явно есть понятия «хозяин», «свой», «чужой», «пища». И важно осмыслить, как такой весьма нетривиальный переход мог произойти в процессе эволюции. Ис пользование понятий приводит к существенному сокращению и требуемой памяти, и времени обработки информации, поэтому оно должно быть эволюционно выгодным. Упрощенная мо дель формирования обобщенных понятий изложена в разделе 3.4.

В) Исследование процессов формирования причинных связей в памяти животных. По видимому, запоминание причинно-следственных связей между событиями во внешней среде и адекватное использование этих связей в поведении – одно из ключевых свойств активного по знания животным закономерностей внешнего мира. Такая связь формируется, например, при выработке условного рефлекса: животное запоминает связь между условным стимулом (УС) и следующим за ним безусловным стимулом (БС), что позволяет ему предвидеть события в ок ружающем мире и адекватно использовать это предвидение. Определенное (также очень упро щенное) прогнозирование будущих ситуаций осуществляется нейронной сетью автономных агентов, охарактеризованных в разделе 3.5.

Естественный следующий шаг – переход от отдельных причинных связей к логическим вы водам на основе уже сформировавшихся знаний.

Г) Исследование процессов формирования логических выводов в «сознании» живот ных. Фактически, уже на базе классического условного рефлекса животные способны делать «логический вывод» вида: {УС, УС БС} = БС или «Если имеет место условный стимул, и за условным стимулом следует безусловный, то нужно ожидать появление безусловного стиму ла». В определенной степени такие выводы подобны выводам математика, доказывающего тео ремы (см. выше, раздел 1). И целесообразно разобраться в системах подобных выводов, понять, насколько адаптивна логика поведения животных и насколько она подобна нашей, человече ской логике.

Д) Исследование коммуникаций, возникновения языка. Наше мышление тесно связано с языком, с языковым общением между людьми. Поэтому целесообразно проанализировать: как в процессе биологической эволюции возникал «язык» общения животных, как развитие комму никаций привело к современному языку человека, как развитие коммуникаций и языка способ ствовало развитию логики, мышления, интеллекта человека.

Перечисленные пункты очерчивают круг исследований от моделирования простейших форм поведения к логическим правилам, используемым в математике. Работы в этих направлениях уже ведутся, но четкой последовательности серьезных, канонических моделей еще нет.

6. Заключение Итак, предложен подход к моделированию когнитивной эволюции. Указана связь этого на правления исследований с основаниями математики. Очерчен задел по моделям когнитивной эволюции, развитый в направлении исследований «Адаптивное поведение». Намечены контуры программы будущих исследований когнитивной эволюции.

Заключая статью, просуммируем аргументы в пользу актуальности исследований когнитив ной эволюции.

Эти исследования связаны с основаниями науки, с основаниями математики, с серьезной проблемой: почему логические выводы, математические доказательства могут быть исполь зованы в познании реальной природы.

Данные исследования интересны с философской, эпистемологической точки зрения – они нацелены на прояснение причин применимости человеческого мышления в познании при роды.

В направлении исследований «Адаптивное поведение», дальняя цель которого близка к за даче моделирования эволюции познавательных способностей живых организмов, развивает ся задел по моделированию когнитивной эволюции.

Эти исследования интересны с точки зрения развития когнитивных наук, так как они связа ны с важными когнитивными процессами – процессами научного познания.

Литература 1. Величковский Б.М. Когнитивная наука: Основы психологии познания: В 2 т. М.: Смысл:

Издательский центр «Академия», 2006.

2. Четвертая международная конференция по когнитивной науке: Тезисы докладов: В 2 т.

Томск: ТГУ, 2010.

3. Редько В.Г. Эволюция, нейронные сети, интеллект. Модели и концепции эволюционной ки бернетики. М.: КомКнига. (Изд-во УРСС, серия «Синергетика: от прошлого к будущему»), 2005.

4. Редько В.Г. Актуальность моделирования когнитивной эволюции // Научная сессия НИЯУ МИФИ-2010. Материалы избранных научных трудов по теме «Актуальные вопросы нейро биологии, нейроинформатики и когнитивных исследований». М.: НИЯУ МИФИ, 2010. С.

69-90.

5. Турчин В.Ф. Феномен науки. Кибернетический подход к эволюции. М.: Наука, 1993. (1-е изд.). М.: ЭТС, 2000. (2-е изд.). См. также http://www.refal.ru/turchin/phenomenon/ 6. Математическая теория логического вывода (под ред. А.В. Идельсона и Г.Е. Минца). М.:

Наука, 1967.

7. Кант И. Критика чистого разума. Соч. в 6-ти томах. Т.3. М.: Мысль, 1964. С. 69-695.

8. Кант И. Пролегомены ко всякой будущей метафизике, могущей появиться как наука. Соч. в 6-ти томах. Т.4, часть 1. М.: Мысль, 1965. С. 67-210.

9. Lorenz K. Kant's doctrine of the a priori in the light of contemporary biology (1941) // In: H. Plot kin (Ed.). Learning, Development and Culture: Essays in Evolutionary Epistemology. New York:

Wiley, 1982. PP. 121-143. См. также перевод: Лоренц К. Кантовская концепция a priori в све те современной биологии // Сб. Эволюция. Язык. Познание. (Отв. ред. И.П. Меркулов). М.:

Языки русской культуры, 2000. С. 15-41.

10. Meyer J.-A., Wilson S.W. (Eds.). From Animals to Animats. Proceedings of the First International Conference on Simulation of Adaptive Behavior. Cambridge: MIT Press, 1991.

11. Непомнящих В.А. Поиск общих принципов адаптивного поведения живых организмов и аниматов // Новости искусственного интеллекта. 2002. № 2. С. 48-53.

12. От моделей поведения к искусственному интеллекту (под ред. В.Г. Редько). М.: КомКнига (Изд-во УРСС, серия «Науки об искусственном»), 2006.

13. Цетлин М.Л. Исследования по теории автоматов и моделирование биологических систем.

М.: Наука, 1969.

14. Бонгард М.М., Лосев И.С., Смирнов М.С. Проект модели организации поведения – «Живот ное» // Моделирование обучения и поведения. М.: Наука, 1975. С. 152-171.

15. Гаазе-Рапопорт М.Г., Поспелов Д.А. От амебы до робота: модели поведения. М.: Наука, 1987. М.: УРСС, 2004.

16. Хайкин С. Нейронные сети: полный курс, 2-е издание. М.: Издательский дом «Вильямс», 2006.

17. Holland J.H. Adaptation in Natural and Artificial Systems. Ann Arbor, MI: The University of Michigan Press, 1975 (1st edn). Boston, MA: MIT Press, 1992 (2nd edn).

18. Holland J.H., Holyoak K.J., Nisbett R.E., Thagard P. Induction: Processes of Inference, Learning, and Discovery. Cambridge: MIT Press, 1986.

19. Sutton R., Barto A. Reinforcement Learning: An Introduction. Cambridge: MIT Press, 1998. See also: http://www.cs.ualberta.ca/~sutton/book/the-book.html 20. Вайнцвайг М.Н., Полякова М.П. О моделировании мышления // От моделей поведения к ис кусственному интеллекту. Серия «Науки об искусственном» (под ред. Редько В.Г.). М.:

УРСС, 2006. C. 280-286.

21. Nolfi S., Baldassarre G., Calabretta R., Hallam J., Marocco D., Miglino O., Meyer J-A, Parisi D.

(Eds). From Animals to Animats 9: Proceedings of the Ninth International Conference on Simula tion of Adaptive Behavior. LNAI.Volume 4095. Berlin, Germany: Springer Verlag, 2006.

22. Wilson S.W. The animat path to AI // In: Meyer J.-A., Wilson S.W. (Eds.). From Animals to Ani mats. Proceedings of the First International Conference on Simulation of Adaptive Behavior. Cam bridge: MIT Press, 1991. PP. 15-21.

23. Pfeifer R., Scheier C. Understanding Intelligence. London: MIT Press, 1999.

24. Krichmar J.L., Seth A.K., Nitz D.A., Fleischer J.G., Edelman G.M. Spatial navigation and causal analysis in a brain-based device modeling cortical-hippocampal interactions // Neuroinformatics, 2005. V. 3. No. 3. PP. 197-221.

25. Непомнящих В.А., Попов Е.Е., Редько В.Г. Бионическая модель адаптивного поискового поведения // Изв. РАН. Теория и системы управления, 2008. № 1. С. 85-93.

26. Гельфанд И.М., Цетлин М.Л. Принцип нелокального поиска в задачах автоматической оп тимизации // ДАН СССР, 1961. Т. 137. № 2. С. 295-298.

27. Редько В. Г., Бесхлебнова Г.А. Моделирование адаптивного поведения автономных агентов.

Нейрокомпьютеры: разработка, применение. № 3. 2010. С. 33-38.

28. Редько В.Г., Бесхлебнова Г.А. Модель формирования адаптивного поведения автономных агентов // Интегрированные модели и мягкие вычисления в искусственном интеллекте.

Сборник научных трудов V-й Международной научно-практической конференции. В 2-х томах. Т.1. М.: Физматлит, 2009. С. 70-79.

29. Kirkpatrick S., Gelatt C.D.Jr., Vecchi M.P. Optimization by simulated annealing // Science. 1983.

V. 220. № 4598. PP. 671–680.

30. Редько В.Г., Редько О.В. Бионическая модель генетической ассимиляции приобретаемых навыков // Научная сессия НИЯУ МИФИ - 2010. ХII Всероссийская научно-техническая конференция "Нейроинформатика-2010": Сборник научных трудов. В 2-х частях. Ч.1. М.:

НИЯУ МИФИ, 2010. С. 191-198.

31. Baldwin J.M. A new factor in evolution // American Naturalist, 1896. V. 30. No. 354. PP. 441-451.

32. Turney P., Whitley D., Anderson R. (Eds.). Evolution, Learning, and Instinct: 100 Years of the Baldwin Effect // Special Issue of Evolutionary Computation on the Baldwin Effect. V. 4. No. 3.

1996.

33. Grossberg S. Classical and instrumental learning by neural networks // In R. Rosen and F. Snell (Eds.). Progress in Theoretical Biology. V.3. New York: Academic Press, 1974. PP. 51-141.

34. Barto A.G., Sutton R.S. Simulation of anticipatory responses in classical conditioning by neuron like adaptive element // Behav. Brain Res., 1982. V.4. No.3. PP. 221-235.

35. Butz M.V., Sigaud O., Pezzulo G., Baldassarre G. (Eds.). Anticipatory Behavior in Adaptive Learning Systems: From Brains to Individual and Social Behavior. LNAI 4520, Berlin, Heidelberg:

Springer Verlag, 2007.

36. Witkowski M. An action-selection calculus // Adaptive Behavior, 2007. V. 15. No. 1. PP. 73-97.

37. Prescott T.J. Forced moves or good tricks in design space? Landmarks in the evolution of neural mechanisms for action selection // Adaptive Behavior, 2007. V. 15. No. 1. PP. 9-31.

38. Turchin V.F. A constructive interpretation of the full set theory // Journal of Symbolic Logic, 1987.

V. 52. No. 1. PP. 172 -201.

39. Витяев Е.Е. Извлечение знаний из данных. Компьютерное познание. Модели когнитивных процессов. Новосибирск: НГУ, 2006.

40. Витяев Е.Е. Принципы работы мозга, содержащиеся в теории функциональных систем П.К.

Анохина и теории эмоций П.В. Симонова // Нейроинформатика (электронный рецензируе мый журнал). 2008. Т. 3. № 1. С. 25-78.

http://www.niisi.ru/iont/ni/Journal/V3/N1/Vityaev.pdf 41. Демин А.В., Витяев Е.Е. Логическая модель адаптивной системы управления // Нейроин форматика (электронный рецензируемый журнал). 2008. Т. 3. № 1. С. 79-108.

http://www.niisi.ru/iont/ni/Journal/V3/N1/DeminVityaev.pdf

 

Похожие работы:





 
2013 www.netess.ru - «Бесплатная библиотека авторефератов кандидатских и докторских диссертаций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.