Скачать

Г. Н. Пащенко, к.т.н.

 Институт информационных и вычислительных технологий
г. Алматы, Казахстан

Получен алгоритм для построения интеллектуальной  системы управления интервально-заданным объектом с запаздыванием на основе искусственных нейронных сетей. Проанализировано несколько  различных методов разработки интеллектуальных систем управления интервально — заданным объектом  с запаздыванием на основе искусственных нейронных сетей, а также проведен сравнительный анализ существующих  алгоритмов обучения нейронных сетей. Определена архитектура многослойной нейронной сети, для обучения которой, в результате проведенного анализа, выбран алгорит­м Левенберга-Марквардта.
Ключевые слова: нейронная сеть, интервально-заданный объект, математическая модель

__________________________________

Пащенко Г.Н. 
ЖАСАНДЫ НЕЙРОНДЫ ЖЕЛІ НЕГІЗІНДЕ КЕШІККЕН АРАЛЫҚ-БЕРІЛГЕН ОБЪЕКТІНІ БАСҚАРУ ЖҮЙЕСІН  ТҰРҒЫЗУ АЛГОРИТМІН ҚҰРУ

Жасанды нейронды желі негізінде кешіккен аралық-берілген объектіні басқарудың зерделі жүйесін  тұрғызу үшін алгоритм алынды. Жасанды нейронды желі негізінде кешіккен аралық-берілген объектіні басқарудың зерделі жүйесінің бірнеше әртүрлі өңдеу әдісіне талдау жасалды, сонымен қатар нейрондық желілерді оқытатын алгоритмдерге де салыстырмалы талдау жүргізілді. Оқыту үшін, нәтижесінде талдау жасалған Левенберг-Марквардт алгоритмі таңдалып, көпқатпарлы нейронды желі архитектурасы анықталды.
Түйінді сөздер: нейрондық желі, аралық-берілген объект, математикалық модель.

__________________________________

Pachshenko G.N.
DEVELOPING AN ALGORITHM OF CONSTRUCTION OF THE CONTROL SYSTEM BY THE INTERVAL-GIVEN OBJECT WITH DELAY ON THE BASIS OF  ARTIFICIAL NEURAL NETWORKS

An algorithm for construction of the intellectual control system of interval — given object with delay based on artificial neural networks was received. Several different methods for development of the intellectual control system of the interval — given object with delay based on artificial neural networks were analyzed. A comparative analysis of existing learning algorithms of neural networks was carried out. The architecture of a multilayer neural network for training of which, as a result of the analysis, the Levenberg–Marquardt algorithm was selected.
Key words: neural network, interval — given object, mathematical model.

Введение. Одним из самых перспективных направлений в научных исследованиях в последнее время считаются интеллектуальные системы управления. Особый интерес вызывают принципы построения интеллектуальных систем управления на базе различных технологий, создание современных интеллектуальных технологий в приложении к задачам управления сложными динамическими объектами, а также, разработка программного обеспечения для интеллектуальных систем управления сложными динамическими объектами. К классу сложных объектов относится большинство современных технологических линий, машин и агрегатов из различных областей промышленности, таких, как химическая, металлургическая, машиностроительная нефтедобывающая и другие.

Исследования в этой области отражены в многочисленных трудах ученых, таких как С. Омату, И.М. Макаров,  Р.М. Юсупов, Г.В. Масютина, В.Ф. Лубенцов, Я.З. Цыпкин, Н.И. Червякова, Д.А. Поспелов, К.А. Пупков, В.Г. Коньков, А.А. Ерофеев, А.А. Жданов и многие другие [1-4]. Следует отметить, что данные исследования не завершены и требуют дальнейшего развития в области управления сложными техническими объектами, которым, как правило, присущи такие качества, как  запаздывание, большая размерность объекта управления, нестационарность, нелинейность, неточность параметров. Следовательно, разрабатываемые системы управления сложными объектами должны быть такими, чтобы обеспечивалось их функционирование при любых условиях с заданным показателем качества. В современной теории управления в настоящее время разрабатываются системы управления с использованием принципов, которые сочетают применение традиционных алгоритмов управления и использование нейросетевой технологии. Например, в работе Г. В. Масютиной [1] нейронные сети используются для построения нейросетевых регуляторов в решении задачи синтеза робастных систем управления. В этой работе говорится, что для систем с запаздыванием отсутствуют методики решения различных задач, в частности, для синтеза робастно устойчивой интервально-заданной системы с запаздыванием с помощью критерия максимальной степени устойчивости. Данная проблема решалась автором с помощью каскадно-связанных нейросетевых регуляторов. В своей другой работе [2] Г. В. Масютина отмечает, что использование многослойных нейронных сетей в качестве регуляторов внешнего и внутреннего контуров системы является одним из эффективных способов решения задач управления сложными объектами и технологическими процессами и отмечает необходимость совершенствования методов для решения таких задач.

Методы исследований. В работе Н. И.Червякова, В.Ф. Лубенцова, Т.А. Рудаковой [3] решалась задача синтеза системы автоматического управления технологическим процессом с переменной структурой при параметрической неопределенности и наличием запаздывания. Авторами предложена методика, основанная на принципах многомодульности нейронной сети.

В настоящее время большой интерес представляет построение интеллектуальных систем управления с применением нейронных сетей [4-7]. Об этом говорит возрастающий с каждым годом поток научных публикаций, посвященный этим задачам. Поэтому разработка и построение интеллектуальных систем управления с запаздыванием на основе искусственных нейронных сетей является актуальной задачей.

 Научная новизна данной работы заключается в разработке алгоритма выбора оптимальной нейронной сети, алгоритма построения интеллектуальной  системы управления интервально-заданным объектом  с запаздыванием на основе искусственных нейронных сетей и создания архитектуры нейронных сетей для моделей данных интеллектуальных систем. Для построения интеллектуальных  систем управления интервально-заданным объектом с запаздыванием на основе искусственных нейронных сетей используем алгоритм, состоящий из девяти шагов.

Алгоритм:

Шаг 1. Определение количества модулей, являющихся нейросетевыми моделями, в интеллектуальной системе. Система, соответствующая технологическому процессу, состоит из нескольких модулей, каждый из которых на каждом участке процесса  приближен к состоянию данного технологического процесса.

Шаг   2. Определение количества возможных случаев задания параметров нейросетевой модели. На этом шаге используется возможность оперирования интервально-заданными значениями объекта.

Шаг 3. Выбор входных и выходных параметров модулей. Определение параметров для входного слоя и выходного слоя нейронной сети каждого модуля.

Шаг 4. Формирование примеров и содержимого входных и выходных векторов. Определение числовых диапазонов, в пределах которых находятся входные и выходные параметры.

Шаг 5. Проектирование нейронной сети: выбор структуры, определение числа слоев и количества нейронов в каждом слое. Входной слой называется нулевым слоем и не принимается во внимание при подсчете слоев.

Шаг 6.  Выбор алгоритма обучения нейронной сети.

Шаг 7.  Обучение нейронной сети с помощью выбранного алгоритма.

Первоначальные числовые значения для весовых коэффициентов задаются в пределах от 0.1 до 1. Выбирается  функция активации. Задача обучения представляет собой поиск минимума некоторой выбранной целевой функции.

Шаг 8.  Проверка и оптимизация  нейронной сети. На этом этапе могут осуществляться многократные обращения ко всем предыдущим шагам данного алгоритма. Производится расчет ошибки и коррекция весов нейронной сети.

Шаг 9. С использованием многослойных нейронных сетей построена система управления интервально-заданным объектом с запаздыванием.

Для того, чтобы определить наиболее подходящий алгоритм обучения нейронной сети, рассмотрим различные алгоритмы обучения, каждый из которых имеет ряд своих преимуществ и недостатков.

Самым известным вариантом алгоритма обучения нейронной сети является алгоритм обратного распространения ошибки [8-9]. Алгоритм обратного распространения наиболее прост для понимания. Имеются также существенные недостатки данного алгоритма, например, долгий процесс обучения. В сложных задачах для обучения сети могут потребоваться дни или  недели, однако, сеть при этом может не обучиться. Причиной этого может служить то, что в процессе обучения сети значения весов могут в результате коррекции стать  большими величинами. В результате этого, все или большинство нейронов будут функционировать при очень больших значениях, в области, где производная сжимающей функции очень мала. Посылаемая обратно в процессе обучения ошибка пропорциональна этой производной, следовательно, процесс обучения может практически замереть. Данная проблема мало изучена, ее решают путем уменьшением размера шага, что  ведет  к увеличению времени обучения.

Необходимо учитывать, что поверхность ошибок,  в случае нейронной сети, имеет сложное строение и обладает рядом неприятных свойств, в частности, может иметь локальные минимумы. Локальные минимумы —  точки, самые низкие в некоторой своей окрестности, но лежащие выше глобального минимума.

Метод обратного распространения использует разновидность градиентного спуска, то есть осуществляет спуск вниз по поверхности ошибки, непрерывно подстраивая веса в направлении к минимуму. Известно, что поверхность ошибки сложной сети сильно изрезана и состоит из холмов, долин, складок и оврагов в пространстве высокой размерности. Таким образом, сеть может попасть в локальный минимум, когда рядом имеется гораздо более глубокий минимум. В точке локального минимума все направления ведут вверх, и сеть не может  выбраться из локального минимума.

Основную трудность при обучении нейронных сетей составляют именно методы выхода из локальных минимумов: каждый раз выходя из локального минимума, ищется следующий локальный минимум тем же методом обратного распространения ошибки до тех пор, пока найти из него выход уже не удаётся.

Разбор сходимости [10] показывает, что коррекции весов предполагаются бесконечно малыми. Это неосуществимо на практике, так как ведёт к бесконечному времени обучения. Следует брать размер шага конечным. Если размер шага фиксирован и очень мал, то сходимость будет слишком медленная, если же он фиксирован и слишком велик, то велика вероятность возникновения паралича или постоянной неустойчивости. Эффективно в данном случае увеличивать шаг до тех пор, пока не прекратится улучшение оценки в данном направлении антиградиента и уменьшать, если такого улучшения не происходит. П. Д. Вассерман [11] описал адаптивный алгоритм выбора шага, автоматически корректирующий размер шага в процессе обучения. В книге А. Н. Горбаня [12] предложена разветвлённая технология оптимизации обучения.

Необходимо отметить возможность переобучения сети, что является скорее результатом ошибочного проектирования её топологии. В случае, когда  количество нейронов слишком большое, теряется свойство сети обобщать информацию. Тогда, весь набор образов, предоставленных к обучению, будет выучен сетью, но любые другие образы, даже похожие, могут быть классифицированы неверно.

Дискуссия. Рассмотрим достоинства и недостатки квази-ньютоновского метода и сравним его с методом обратного распространения ошибки. Квази-ньютоновскому методу сопутствует трудоемкость итераций, и умеренными требованиями к дополнительной памяти. Этот алгоритм подходит для решения задач высокой размерности, и хорошо ведет себя на задачах средней и малой размерности. Критериями останова служат малая величина шага. Во многих случаях критерием останова служит достаточно малое значение функции ошибки. Проблема в том, что если   решается сложная задача,   то    не известно заранее, насколько хорошо она может быть решена. Некоторые задачи можно решить с высокой точностью, а ошибка классификации в 25% считается хорошим результатом.

В то время как метод обратного распространения корректирует веса по­сле обработки каждого наблюдения, квази-ньютоновский алгоритм исследует средний градиент поверхности ошибок по всем наблюдениям и обновляет веса в конце каждой эпохи обучения. Кроме того,  нет необходимости задавать па­раметры скорости обучения и инерции, и поэтому данным методом проще пользоваться, чем методом обратного распространения.

Существуют современные алгоритмы второго порядка, такие как метод сопряженных градиентов и метод Левенберга-Маркара, которые на многих зада­чах работают существенно быстрее остальных алгоритмов. Особенно, в задачах малой и средней размерности, то есть, до нескольких сотен весовых ко­эффициентов, метод Левенберга-Марквардта [13, 14]  часто оказывается быстрее других алгоритмов.  Основное  дос­тоинство выбранного для обучения алгоритма Левенберга-Марквардта — то, что он не нуждается в указании критериев останова. Данный метод всегда точно находит один из локальных минимумов функции. Исключением могут быть не­которые единичные сложные задачи, в которых при использовании алгоритма Левенберга-Марквардта до окончания решения задачи ошибочно может быть принято решение, что   минимум найден и алгоритм может остановиться. Алгоритм обучения Левенберга-Марквардта, обеспечивает в десятки раз более быстрое обучения сети, чем, например, алгоритм обратного распростра­нения ошибки, использующий градиентную оптимизацию.

Используя в качестве алгоритма обучения алгоритм Левенберга-Мар­квардта, проведено обучение НС. Начальное количест­во нейронов в скрытом слое предварительно при­нималось равным трем. Количество эпох, в течение каждого из которых на вход НС пос­ледовательно подаются все элементы обу­чающей последовательности, а затем вычисляются ее вы­ходные значения и по­казатели качества обучения,  равно 150.

Выводы. Проведенная сравнительная оценка алгоритмов обучения нейронных сетей показа­ла, что наилучшего качества обучения можно достигнуть, используя алгорит­м Левенберга-Марквардта. В последнее время этот алгоритм является наиболее эффективным при оптимизации функции не­скольких переменных и широко используется при обучении нейросетевых моделей.

Таким образом, выделено и проанализировано несколько  различных методов разработки интеллектуальных систем управления интервально — заданным объектом  с запаздыванием на основе искусственных нейронных сетей, а также проведен сравнительный анализ существующих  алгоритмов обучения нейронных сетей. В результате исследования определена наиболее подходящая архитектура многослойной нейронной сети, для обучения которой выбран алгорит­м Левенберга-Марквардта. Получен алгоритм построения интеллектуальной  системы управления объектом  с запаздыванием на основе искусственных нейронных сетей, включающий выбор архитектуры нейронных сетей для модулей, из которых состоит  интеллектуальная система. Создавая интеллектуальные системы управления сложными  объектами можно существенно повысить эффективность управления техническими объектами, например, улучшить контроль качества выпускаемой продукции, повысить надежность эксплуатации установок, оборудования  и технологических линий, улучшить эффективное использование экономических ресурсов, таких, как сырье и капиталовложения.

Литература

1   Омату С., Халид М., Юсоф Р. Нейроуправление и его приложения. Кн. 2 // Нейроконтроллеры и их применение / под ред. А.И. Галушкина, В.А. Птичкина. – М.: ИПРЖР. – 2000. – 272 с.

2   Масютина Г.В. Синтез робастных систем управления с использованием каскадно-связанных модифицированных нелинейных, нечетких и нейросетевых регуляторов: автореф. дис.  канд. тех. наук. Ставрополь, –  2011. – 228 с.

3  Масютина  Г.В.  Методика решения многокритеальной задачи выбора структуры каскадной САУ в условиях неопределенности // Фундаментальные исследования. –  2010. – № 12.  –  С. 119-126

4   Червяков Н. И., Лубенцов В.Ф., Рудакова Т.А. Нейросетевая система автоматического управления с переменной структурой  // Инфокоммуникационные технологии. 2008. – № 1. – С. 8-12.

5   Пащенко Г.Н. Нейросетевая система управления при параметрической неопределенности // Кахак. – Алматы. – 2013. – № 2(41). – С. 9-12.

6   Пащенко Г.Н. О построении нейросетевой модели для технологического процесса варки стекла // Вестник национальной инженерной академии Республики Казахстан. – Алматы. – 2013. – № 3 (49). – С. 40-44.

7   Пащенко Г.Н. Подход к построению нейросетевой модели для технологического процесса варки стекла // Новости науки Казахстана. – Алматы, 2013. – № 4. – С. 62-72.

8   Галушкин А. И. Синтез многослойных систем распознавания образов. — М.: «Энергия», 1974. –318 c.

9   Werbos P. J., Beyond regression: New tools for prediction and analysis in the behavioral sciences. Ph.D. thesis, Harvard University, Cambridge, MA, 1974.  – 384 p.

10   Rumelhart D.E., Hinton G.E., Williams R.J., Learning Internal Representations by Error Propagation. In: Parallel Distributed Processing, Cambridge, MA, MIT Press. 1986. –V. 1. –P. 318-362.

11 Wasserman P. D. Experiments in translating Chinese characters using backpropagation. Proceedings of the Thirty-Third IEEE Computer Society International Conference. — Washington: D. C.: Computer Society Press of the IEEE, 1988. –P. 317-325.

12    Горбань А. Н. Обучение нейронных сетей. — Москва: СП ПараГраф, 1990. ­­­­– 160 c.

13    Гилл Ф., Мюррей У., Райт М. Практическая   оптимизация, 1985. Пер. с англ., М.: «Мир» – 509 с.

14    Лубенцов В.Ф., Болдырев Д.В. Методы динами­ческой идентификации биотехнологических объ­ектов.  – Ставрополь: Изд. СевКав-ГТУ, 2005. – 84 с.