Диапазоны активаций нейронов, которые обычно имеют величину, отличную от -1 до 1 или от 0 до 1, обычно устанавливаются при настройке функций активации нейронов.
При нормализации нейронов они могут быть изменены (MemBrain_Help. pdf -> Normalize I/O Data).
Модель нейрона и Операция (Neuron Model And Operation)
Все нейроны в MemBrain в основном идентичны. Тем не менее, они могут вести себя совершенно иначе в результате того, как их параметры настроены.
Когда во время моделирования должно быть рассчитано новое состояние нейронной сети (это называется одним «шагом мысли» в MemBrain), тогда каждый нейрон выполняет свои собственные вычисления на основе сигналов на своих входах, текущей активации и настроек параметров. Результат этого вычисления определяет новую активацию нейрона, которую производит сигнал, появляющийся на выходе нейрона согласно другому набору настраиваемых параметров нейрона.
Выходной сигнал нейрона затем передается по всем подключенным выходным каналам связи на входные порты нейронов назначения, к которым эти сигналы направляются. Сигнал дополнительно умножается на вес соответствующей линии связи, прежде чем он достигнет входного порта нейрона назначения.
Чтобы полностью понять поведение нейрона в MemBrain, очень важно четко различать активацию нейрона и его выходной сигнал.
Активация:
Давайте сначала посмотрим на расчет активации, который задается следующей формулой:
Как мы видим, новая активация нейрона рассчитывается из двух частей:
– Текущая активация, умноженная на так называемый коэффициент устойчивости активации
– Значение функции активации, которая получает сумму по всем входам нейрона минус так называемый порог активации в качестве аргумента (за исключением функции активации минимального евклидова расстояния, которая вычисляется по-другому).
Кроме того, результирующее значение активации обрезается до диапазона [0..1] или [-1.. 1] независимо от того, какой диапазон применяется к конкретной функции активации.
Для первого понимания давайте предположим, что вторая часть в формуле равна 0. В MemBrain это имеет место в двух ситуациях: либо сумма всех входов вместе с порогом активации приводит к тому, что функция активации приводит к значению 0, либо к нейрону не поступает никаких сигналов (т.е. нет ссылок), связанных с его входным портом. Если у нейрона нет сигналов, связанных с его входом, вся правая часть формулы опускается. Обратите внимание, что это не то же самое, что входной сигнал 0! В этом случае новая активация рассчитывает только текущую активацию и фактор поддержки активации. Это приводит к тому, что активация нейрона затухает с каждым шагом вычисления до тех пор, пока он не достигнет 0.
Фактор устойчивости активации определяет, как быстро это произойдет: значение 0 приводит