Основы теории искусственных сетей icon

Основы теории искусственных сетей




НазваОсновы теории искусственных сетей
Дата01.07.2012
Розмір77.2 Kb.
ТипДокументи

ОСНОВЫ ТЕОРИИ ИСКУССТВЕННЫХ СЕТЕЙ

Нейронная сеть общие положения.


Актуальность исследований искусственных нейронных сетей подтверждается многообразием их возможных применений. Теория НС является алгоритмическим базисом развития нейрокомпьютеров, подобно тому, как булева алгебра более 50 лет являлась алгоритмическим базисом однопроцессорных и многопроцессорных ЭВМ.

Современные цифровые вычислительные машины превосходят человека по способности производить числовые и символьные вычисления. Однако человек может без усилий решать сложные задачи восприятия внешних данных (например, узнавать в толпе знакомого только по его промелькнувшему лицу) с такой скоростью и точностью, что самый мощный в мире компьютер по сравнению с ним окажется безнадежным тугодумом. Причина столь значительного различия в их производительности заключена в том, что архитектура биологической нейронной системы совершенно не похожа на архитектуру машины фон Неймана (табл.1.1) , а это существенно влияет на типы функций, которые более эффективно исполняются каждой из моделей.

Таблица 1.1

Машина фон Неймана по сравнению с биологической нейронной системой




^ Машина фон Неймана

Биологическая нейронная система

Процессор

Сложный

Простой

Высокоскоростной

Низкоскоростной

Один или несколько

Большое количество

Память

Отделена от процессора

Интегрирована в процессор

Локализована

Распределенная

Адресация не по содержанию

Адресация по содержанию

Вычисления

Централизованные

Распределенные

Последовательные

Параллельные

Хранимые программы

Самообучение

Надежность

Высокая уязвимость

Живучесть

Специализация

Численные и символьные oперации

Проблемы восприятия

Среда функционирования

Строго определенная

Плохо определенная

Строго ограниченная

Без ограничений


Нейронная сеть — это сеть с конечным числом слоев из однотипных элементов - аналогов нейронов с различными типами связей между слоями. При этом число нейронов в слоях выбирается исходя из не­обходимости обеспечения заданного качества решения задачи, а число слоев нейронов - как можно меньшее для сокращения времени решения задачи.

Развитие искусственных нейронных сетей вдохновлялось и вдохновля­ется биологией. Однако наши знания о работе мозга ограничены, и разра­ботчикам искусственных НС приходится выходить за пределы современ­ных биологических знаний в поисках структур, позволяющих выполнять полезные функции. Так часто создаются сети невозможные в живой мате­рии или требующие неправдоподобно больших допущений об анатомии и функционировании мозга.

Нервная система человека, построенная из элементов, называемых нейронами, очень сложна. Около 1011 нейронов участвуют в примерно 1015 передающих связях. Уникальными способностями нейронов являют­ся прием, обработка и передача электрохимических сигналов по нервным путям, которые образуют коммуникационную систему мозга.

Несмотря на огромное количество нейронов, их тела занимают всего несколько процентов общего объема мозга. Почти все остальное про­странство занято межнейронными связями. Число связей каждого нейрона не имеет аналогов в современной технике. Понимание того, что межнейронные связи относятся к основным структурным компонентам мозга, в первую очередь, определяющим его функциональные характеристики, является одним из наиболее существенных выводов, сделанных нейрофизиологами. В подтверждение можно привести высказывание известного нейрофизиолога Э. Кэндела: "По убеждению многих нейробиологов в конце концов будет доказано, что уникальные свойства каждого челове­ка - способность чувствовать, думать, обучаться и помнить - заключены в строго организованных сетях синаптических взаимосвязей между ней­ронами головного мозга".

На рис. 1.1 приведена структура типичного биологического нейрона. Дендриты идут от тела нервной клетки к другим нейронам, где они при­нимают сигналы в точках соединения, называемых синапсами. Принятые синапсом входные сигналы подводятся к телу нейрона. Здесь они сумми­руются, причем одни входы стремятся возбудить нейрон, а другие вос­препятствовать его возбуждению. В соответствии с этим различают про­цессы синаптического возбуждения и торможения нейрона.

Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по аксону, который на конце сильно ветвится, сигнал другим нейронам. Нервный импульс обладает способно­стью распространяться по нервным волокнам без затухания, вплоть до синаптических окончаний со скоростью распространения около 10 м/с.

Синаптическое торможение снижает возбуждение нейрона и тем са­мым затрудняет переход возбуждения нейрона в нервный импульс.





Рис1.1 Биологический нецрон


После генерации импульса наступает так называемый рефрактерный период, во время которого нейрон восстанавливает способность к генера­ции следующего импульса. Длительность рефракторного периода менее 1 мс. Поэтому максимальная частота генерации импульсов нейронов око­ло 1000с-1.

Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. Он обладает группой синапсов - однонаправ­ленных входных связей, соединенных с выходами других нейронов, а также имеет аксон - выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейро­нов. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона. Общий вид нейрона, реализующего эти свойства, приведен на рис. 1.2. Здесь множество входных сигналов обозначены вектором X. Каждый вес wi, соответствует "силе" одной биологической синаптической связи. Множество весов в совокупности обозначается вектором W.

Рис 1.2 Искусственный нейрон


Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически

(1.1)


Выход нейрона является функцией его состояния:


Y=F(x). (1.2)


Нелинейная функция F называется активационной и может иметь различный вид.

В случае, когда функция активации одна и та же для всех нейронов се­ти, сеть называют однородной (гомогенной). Если же активационная функция зависит еще от одного или нескольких параметров, значения ко­торых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной).

Одной из наиболее распространенных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида):


(1.3)


При уменьшении а сигмоид становиться более пологим, в пределе при а = 0 вырождаясь в горизонтальную линию на уровне 0.5. При увеличе­нии а сигмоид приближается по внешнему виду к функции единичного скачка с порогом Т в точке х = 0. Из выражения для сигмоида очевидно. тго выходное значение нейрона лежит в диапазоне [0,1]. Одно из ценных свойств сигмоидной функции - простое выражение для ее производной, применение которого будет рассмотрено в дальнейшем,


(1.4)


Следует отметить, что сигмоидная функция дифференцируема на всей оси абсцисс, что широко используется во многих алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы лучше. чем сильные, и предотвращает насыщение от сильных сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий на­клон. Другой широко используемой активационной функцией является гиперболический тангенс. В отличие от логистической функции гипербо­лический тангенс принимает значения различных знаков, что для ряда

сетей оказывается выгодным.

Говоря о возможной классификации НС. важно отметить существова­ние бинарных и аналоговых сетей. Первые из них оперируют с двоичны­ми сигналами, и выход каждого нейрона может принимать только два значения: логический ноль ("заторможенное" состояние) и логическая единица ("возбужденное" состояние). В аналоговых сетях выходные значения нейронов способны принимать непрерывные значения. Еще одна классификация делит НС на синхронные и асинхронные. В первом случае в каждый момент времени свое состояние меняет лишь один ней­рон. Во втором - состояние меняется сразу у целой группы нейронов, как правило, у всего слоя. Для программных имитаторов нейронных сетей на цифровых ЭВМ, вопросы связанные с синхронизацией решаются компью­тером, на котором реализуются НС.

Рассмотренная простая модель искусственного нейрона существенно упрощает ряд свойств своего биологического двойника. Например, она не принимает во внимание задержки во времени, которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходной сиг­нал. И, что более важно, она не учитывает воздействие синхронизирую­щей функции биологического нейрона, которую ряд исследователей считают решающей. Несмотря на эти ограничения, сети, построенные из этих нейронов, обнаруживают свойства, сильно напоминающие биологи­ческую систему. Только время и дальнейшие исследования могут дать ответ на вопрос, являются ли подобные совпадения случайными или это следствие того, что в модели верно схвачены основные черты биологиче­ского нейрона.

Итак, дано описание основных элементов, из которых составляются нейронные сети. Перейдем теперь к вопросу: как составлять эти сети, как их конструировать? Строгих ограничений здесь нет, как угодно, лишь бы входы получали какие-нибудь сигналы. Возможности безграничны, но обычно используют несколько стандартных архитектур, из которых при некоторых небольших модификациях строят большинство используемых сетей.

Схожі:

Основы теории искусственных сетей iconА. А. Чупрынин основы теории упругости
Шутенко Л. Н., Засядько Н. А., Чупрынин А. А. Основы теории упругости и пластичности Учебное пособие для студентов строительных специальностей....
Основы теории искусственных сетей iconЛитература по курсу «Основы теории культуры» Основная Арнольдов А. И. Культурология: наука познания и культура. М., 1995. 348
Вопросы для самостоятельной подготовки студентов заочного отделения к экзамену по курсу «Основы теории культуры»
Основы теории искусственных сетей iconИнструкция по настройке и использованию комплекса Fcomplex | \ / Fcomplex
Давление", "Влажность" и "Скорость ветра" с дальностью 1,3,6 и 9 часов. Помимо этого, Fcomplex позволяет проводить вычислительные...
Основы теории искусственных сетей iconОбучение искусственных нейронных сетей
После этого сеть может быть дообучена с учетом новой информации, причем при дообучении предыдущая информация не теряется, а обобщается...
Основы теории искусственных сетей iconОсновы экономической теории

Основы теории искусственных сетей icon4. основы гидравлического расчета водоотводящих сетей
...
Основы теории искусственных сетей iconДокументи
1. /Системы_передачи_информации_ТЗИ/РПРД.Основы теории и расчета.djvu
Основы теории искусственных сетей iconРасписание занятий 3 курс рэс 10 тзи 10 понедельник
Основы теории передачи и кодирование информации (лаб) Адамов В. Г. Братухина Е. А. 3а 311
Основы теории искусственных сетей iconОсновы теории вероятностей
Теория вероятностей это математическая наука, изучающая закономерности в случайных событиях
Основы теории искусственных сетей iconОсновы теории вероятностей
Теория вероятностей это математическая наука, изучающая закономерности в случайных событиях
Додайте кнопку на своєму сайті:
Документи


База даних захищена авторським правом ©zavantag.com 2000-2013
При копіюванні матеріалу обов'язкове зазначення активного посилання відкритою для індексації.
звернутися до адміністрації
Документи