Нейроподобная сеть.

В 1982 г. американский биофизик Джон Хопвилд опубликовал статью, где поведение модели полносвязной сети бинарных нейроподобных элементов с симметричными связями (wij = wji). элементы функционировали в асинхронном режиме, т.е. каждый нейрон в случайные моменты времени с некоторой средней частотой определял свое состояние с правилом (1.3). Это позволило описать поведение сети ка релаксационный процесс, при котором минимизируется функция (гамильтониан) модели.

Машина Больцмана

представляет собой стохастический вариант сети Хопфилда. Бинарные нейроподобные элементы (блоки) трактуются здесь представители элементарных гипотез, а веса - как слабые парные взаимоограничения между ними. Положительный вес связи указывает, что две гипотезы стремятся поддерживать друг друга, а отрицательный - на их несовместимость. Симметрия связей позволяет проанализировать поведение сети с использованием энергетической функции (гамильтониана). Энергию определенного паттерна активности можно интерпретировать как степень нарушения ограничений, присутствующих в проблемной области, со стороны конкретной комбинации гипотез или как стоимостную функцию, которая должна быть минимизирована для решения оптимизационной задачи. Существует возможность, однако, попадания сети в локальный мимнимум, что крайне не желательно для оптимизационных задач. Чтобы сеть могла выбраться из локального энергетического минимума, в машине Больцмана применяется вероятностное правило срабатывания блоков:

, (2.1)

где pi - вероятность нахождения i-го блока в единичном состоянии;

P (x) - сигмоидная функция (рис. 1.2. б);

T - параметр, аналогичный температуре. При T®0 это правило переходит в правило срабатывания детерминированных элементов (1.3), а при повышении температуры увеличивается вероятность перехода системы в состояние с большей энергией.

Обучение машины Больцмана описано в параграфе 2.2.

.

Сети с латеральным торможением.

Карты признаков Кохонена. Обычно в качестве входных образов в моделях ассоциативной памяти используются некоторые внутренние представления сенсорной информации, прошедшей, как считается, необходимую предобработку. Один из нейросетевых вариантов такой переработки предложен Кохоненом. Его алгоритм формирует одно- или двумерную карту “карту” признаков путем нелинейного “сплющивания” многомерного сигнального пространства. При этом предполагается, что такое отображение должно сохранять топологические отношения, существующие между входными сигналами.

Структура нейронной сети, в которой реализуется формирование карт признаков, приведена на рис. 2.1. Нейроны, имеющие сигмоидную характеристику, расположены в виде одно- и двумерного слоя слоя по аналогии со слоистым строением коры. На каждый нейрон поступают два вида связей: mij, которые интерпретируются как связи от сенсорных входов или из других областей, и wjk - латеральные связи от нейронов одного слоя, характер которых зависит от расстояния между нейронами. Функция взаимодействия нейронов одного слоя имеет вид “мексиканской шляпы” (рис. 2.2.), что соответствует некоторым нейробиологическим данным. Близко расположенные нейроны возбуждают друг друга, с увеличением расстояния возбуждение сменяется торможением, а затем опять появляются слабые возбуждающие связи, которые по-видимому, выполняют ассоциативные функции и в данной модели не используются.

Эффект наличия латеральных связей с радиусом действия порядка размеров сети проявляется в следующем. Если на каждый нейрон подать (например, через связи от сенсорных входов mij) имеющий небольшой максимум случайный сигнал Si, то в процессе релаксации сети осуществляется повышение его контрасности. В результате вокруг первоначального максимума образуется “пузырек” выходной активности нейронов (рис. 2.3.).

Рис. 2.3.

Входные сигналы полностью определяют процесс самоорганизации сети, т.е. в ней реализован алгоритм обучения без учителя. Латеральные связи wjk в модели считаются постоянными, и все адаптивные эффекты происходят только в матрице входных связей М. Подробнее процесс обучения рассмотрен в параграфе 2.2.

Перейти на страницу: 1 2 3 4

Дополнительные материалы

Холодное напыление металлических покрытий
Когда только появились первые металлические орудия труда, выяснилось, что, твердые и прочные, они сплошь и рядом портились под воздействием влаги. Шло время, люди создавали механизмы и машины, и чем более совершенными они становились, тем ...

Фазовая, групповая и сверхсветовая скорости
Критически проанализированы понятия фазовой и групповой скоростей в дисперсной среде. На основании проведенного анализа был сделан вывод о неправомерности введения понятия “групповая скорость”. Также был сделан вывод, что модулирующий сигн ...

Об истории изобретения и распространения бумаги
«Бумага — продукт перетирания лохмотьев и тряпок, коль скоро сделана и отдана под печатный станок, превратившись в книгу или газету, приобретает беспримерное могущество, становится всемирным владыкой. Она изменяет наши идеи и нашу рел ...

Разделы

Электромагнитный импульс как оружие

История вопроса и современное состояние знаний в области эми.

Лабораторные стенды в учебном процессе

Обзор и сравнительный анализ существующих стендов.

Аспекты технического знания

Технический объект и предмет технических наук.

Сварка металлов плавлением

Классификация электрической дуговой сварки.

Распределение примесей в кремнии

Описание процесса зонной плавки и ее математическая модель.



Наука сегодня и вчера - www.anytechnic.ru