Аппаратные средства, интерпретирующие алгоритмы, заданные нейронной сетью
Алгоритмы обучения многоуровневых персептронных сетей
Большинство алгоритмов обучения использует эвристические приемы формирования графов сетей и весов ребер. При использовании многоуровневых персептронных сетей обучение начинается с выбора начальной сети (эвристически выбираемый граф) с заданным в постановке задачи числом входов и выходов, связывающей входы с выходами. Например, рекомендуется взять трехслойную сеть с числом нейронов внутреннего слоя, равным полусумме числа входов и выходов сети. Каждый нейрон внутреннего слоя должен быть связан с выходами всех входных нейронов сети. Каждый выходной нейрон должен быть связан с выходами всех нейронов внутреннего слоя.
Далее предпринимается попытка подобрать веса входов нейронов сети так, чтобы сеть решала поставленную задачу. Если это не удается для выбранного графа сети, то по некоторой эвристике, например, с использованием генетических алгоритмов перебираются графы сетей, для каждой из которых предпринимается попытка обучения. Этот процесс продолжается до получения устраивающего результата.
|
|
Практически важным алгоритмом определения весов сети при наблюдаемом обучении персептронных сетей, для которого доказана сходимость процесса, является алгоритм обратного распространения. При обучении сигнал ошибки распространяется обратно по сети. Производится коррекция весов входов нейронов, предотвращающая повторное появление этой ошибки.
Построение вычислительных систем, интерпретирующих нейросетевые алгоритмы, осуществляется сейчас на традиционной элементной базе. Однако весьма многообещающей выглядит потенциальная возможность реализации базисной операции (вычисления скалярного произведения) в физической среде-носителе сигнала. Прежде всего, это касается операции суммирования в электромагнитном поле, хотя в живых организмах существуют и иные примеры, в частности, суммирование на биохимическом уровне. Реализация скалярного произведения за счет суммирования электромагнитного поля (включая оптический диапазон) может привести к тому, что время срабатывания элемента, вычисляющего скалярное произведение, будет исключительно малым, сравнимым со временем прохождения светом линейного размера элемента.
Алгоритм, заданный нейронной сетью, может быть интерпретирован обычной универсальной вычислительной машиной, либо некоторым специализированным устройством.
Сравнение аппаратных средств, интерпретирующих нейросетевые алгоритмы, затруднено в связи с большим разнообразием параметров. В их число входят: число интерпретируемых нейронов и связей, точность представления значений входов/выходов и весов входов, точность схем умножения и сложения (особенно при аналоговой реализации). Например, если используются 8-разрядные входы и веса и 16-разрядный сумматор, то возникают проблемы точности результатов при интерпретации сетей, имеющих многовходо-вые нейроны.
|
|
Принятой в нейрокомпьютерном мире единицей измерения производительности является число соединений в секунду (CPS — Connections Per Second). Под соединением понимается умножение входа на вес и сложение с накопленной суммой.
Другим показателем, оценивающим скорость обучения, служит число измененных значений весов в секунду (CUPS — Connections Update Per Second).
Эти показатели достаточно условны, т. к. не учитывают разрядности обрабатываемых входов и весов, точность промежуточных результатов и другие особенности. При оценке в этих единицах традиционных вычислительных устройств необходимо учитывать, кроме собственно вычислительных операций, операции по выборке из памяти операндов и организации вычислений.