• прозрачность функционирования
• простая математическая модель
• низкая стоимость внедрения и пользования
От авторов
Авторы: Борис Злотин, разработавший теоретические основы теории PANN и программных продуктов на ее основе, и Владимир Маценко, реализовавший группу этих продуктов и участвовавший в создании и тестировании теории, – выражают благодарность тем, кто помогал в этой работе и внес серьезный творческий вклад:
• Дмитрию Песчанскому, нашедшему общую идею нового подхода к конструкциям нейронных сетей.
• ТРИЗ-специалистам Владимиру Просянику, Анатолию Гину, Сергею Фаеру, Олегу Гафурову и Алле Зусман, активно поддерживавших разработку PANN своим опытом, знаниями и талантами.
• Ивану Ивановичу Негрешному – за конструктивную критику, помогавшую увидеть и исправить недостатки.
Часть 1.
Новый вид нейронных сетей: Progress Artificial Neural Network (PANN)
1. Введение в проблему
Откуда взялись нейронные сети и чем они нас не устраивают?
Начало развитию искусственных нейронных сетей положили работы Тьюринга, Мак-Каллока, Питтса и Хебба. На основе их идей Фрэнк Розенблатт в 1958 г. создал первую искусственную нейронную сеть «Персептрон», способную после соответствующего обучения распознавать и на основе распознавания классифицировать разные объекты. К сожалению, в самой концепции персептрона была заложена критическая ошибка, основанная на господствовавшей тогда биологической доктрине Дэйла: «…нейрон использует один и только один нейромедиатор для всех синапсов». Эта доктрина была перенесена во все искусственные нейросети в виде правила: «…один искусственный синапс использует один и только один синаптический вес». Это правило можно назвать доктриной Розенблатта.
В 70-х гг. XX века доктрина Дэйла была отвергнута биологией. А доктрина Розенблатта, к сожалению, до сегодняшнего дня остается неизменной для всех нейронных сетей («рекуррентных», «резонансных», «глубоких», «сверточных», «LSTM», «генеративных», сетей прямого и обратного распространения ошибки и т. п.). Именно она заставляет применять при тренинге сетей итерационный подход, известный как метод градиентного спуска (gradient descent method), требующий огромного объема вычислений. И именно эта доктрина «виновата» в невозможности построить адекватную рабочую теорию нейронных сетей. А также в том, что эти сети характеризуются непрозрачностью и непонятностью, сравнительно низкой скоростью обучения, сложностью доучивания и множеством других «врожденных» проблем. Подробнее о проблемах классических нейронных сетей см. Приложение 1.
Поэтому развитие таких сетей идет в основном методом проб и ошибок. А это ведет к сложности и малой надежности, необходимости использования очень дорогого оборудования, проведения энергоемких вычислений и дорогостоящей ручной работы для обучения.
Критическая «ошибка Розенблатта» была обнаружена исследователями (специалистами по ТРИЗ) deep tech компании Progress Inc. Они же нашли решение, позволяющее исключить эту ошибку. Это позволило создать принципиально новый вид нейронных сетей, названный PANN (Progress Artificial Neural Network). PANN и их работа прозрачны, предсказуемы, требуют в тысячи раз меньших затрат и обеспечивают лучшее решение многих интеллектуальных задач. Идеи PANN защищены 18 патентами во многих странах мира. На основании этих идей уже создано и протестировано несколько вариантов новых софтверов.
2. Научно-технические основы сети PANN
В данной главе мы расскажем об основных конструктивных и научных особенностях сети PANN.
PANN отличается от классических нейронных сетей иной конструкцией главного элемента: так называемого формального нейрона. Новый формальный нейрон позволяет использовать другой способ обучения. В результате:
1. Работа сети стала совершенно прозрачной. Стало возможным построить простую и ясную теорию, предсказывающую результаты действий с нею.
2. PANN может быть реализована на недорогом оборудовании. Расходы на ее обучение и функционирование во много раз меньше, чем у классических нейронных сетей.
3. PANN обучается во много раз быстрее классических нейронных сетей.
4. PANN может в любое время доучиваться.
5. У PANN отсутствует вредный эффект «переобучения».
2.1. НОВАЯ КОНСТРУКЦИЯ ФОРМАЛЬНОГО НЕЙРОНА
Классические нейронные сети построены из типовых «кирпичей» – формальных нейронов простой конструкции, описанных Мак-Каллоком и Питтсом и реализованных Розенблаттом. И главная проблема нейронных сетей – неудачная конструкция этого формального нейрона.
Формальный нейрон Розенблатта имеет один синаптический вес. Главным отличием PANN является формальный нейрон Progress с двумя или более синаптическими весами на каждом синапсе.
Рис. 1. Сравнение формальных