Данное учебное пособие подготовлено на основе курса лекций по дисциплине «Нейроинформатика», читавшегося с 1994 года на факультете Информатики и вычислительной техники Красноярского государственного технического университета.
Несколько слов о структуре пособия. Далее во введении приведены учебный план по данному курсу, задания на лабораторные работы. Следующие главы содержат одну или несколько лекций. Материал, приведенный в главах, несколько шире того, что обычно дается на лекциях. В приложения вынесены описания программ, используемых в данном курсе (Clabи Нейроучебник), и проект стандарта нейрокомпьютера, включающий в себя два уровня – уровень запросов компонентов универсального нейрокомпьютера и уровень языков описания отдельных компонентов нейрокомпьютера.
Данное пособие является электронным и включает в себя программы, необходимые для выполнения лабораторных работ. Пособие имеет три представления:
в формате MS Word 97 13 пунктом (347 страниц);
в формате MS Word 97 10 пунктом (страниц);
в формате Html.
Первые два варианта отформатированы для печати с полями 2,5 см слева и по 1,5 см с трех других сторон.
НАГРУЗКА
Лекции | 32 часа |
Лабораторные занятия | 64 часа |
Самостоятельная работа | 20 часов |
Всего | 116 часов |
ПРОГРАММУ СОСТАВИЛИ:
д.ф.-м.н., профессор А.Н.Горбань,
д.т.н., доцент Е.М.Миркес
к.ф.-м.н., доцент Н.Ю.Сиротинина
ЦЕЛИ И ЗАДАЧИ КУРСА
Цель преподавания дисциплины:
В результате изучения дисциплины студенты должны:
СОДЕРЖАНИЕ КУРСА
Тема 1. Введение. 2 часа
Предмет и задачи курса. Отличия нейрокомпьютеров от компьютеров ФонНеймана. Задачи, решаемые в настоящее время с помощью нейронных сетей. Основные направления в нейроинформатике. Очерк истории нейроинформатики.
Тема 2. Сети естественной классификации. 4 часа
Задача естественной классификации. Основные методы решения. Метод динамических ядер и сети Кохонена.
Тема 3. Сети ассоциативной памяти. 6 часов
Сети Хопфилда и их обобщения. Инвариантная обработка изображений (по отношению к переносам, поворотам). Ассоциативная память.
Тема 4. Сети, обучаемые методом обратного распространения ошибки. 16 часов
Идея универсального нейрокомпьютера. Выделение компонентов универсального нейрокомпьютера. Задачник. Методы предобработки. Нейронная сеть (быстрое дифференцирование и метод двойственности). Оценка и интерпретатор ответа. Учитель. Контрастер. Логически прозрачные нейронные сети и получение явных знаний из данных.
Тема 5. Персептрон Розенблатта. 4 часа
Правило Хебба. Персептрон и его обучение. Ограничения и возможности персептрона.
ОСНОВНАЯ ЛИТЕРАТУРА
По курсу «Нейроинформатика» студенты выполняют 7 лабораторных работ. Каждая из лабораторных работ преследует свои цели. Все лабораторные выполняются группами по 2-4 человека.
Цель работы. Целью данной лабораторной работы является демонстрация способности нейронной сети решать неформализованные задачи. Сеть необходимо обучить классификации на два класса по косвенным признакам.
Используемые программы. Лабораторная выполняется на программе CLAB.
Задание. Данная лабораторная выполняется в несколько этапов.
Пример | Вопрос | |||||||||||||||||||
1 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 18 | 20 |
2 | 1 | 6 | 12 | 10 | 15 | 2 | 7 | 13 | 17 | 3 | 8 | 11 | 16 | 18 | 4 | 20 | 9 | 14 | 5 | 19 |
3 | 17 | 6 | 5 | 8 | 10 | 12 | 3 | 1 | 13 | 15 | 11 | 9 | 7 | 19 | 2 | 4 | 20 | 16 | 18 | 14 |
4 | 8 | 12 | 11 | 3 | 17 | 14 | 6 | 1 | 13 | 16 | 18 | 4 | 7 | 10 | 9 | 2 | 20 | 19 | 15 | 5 |
Итого | 27 | 26 | 31 | 25 | 47 | 34 | 23 | 23 | 42 | 44 | 48 | 36 | 43 | 61 | 30 | 42 | 66 | 67 | 56 | 48 |
Место | 14 | 15 | 12 | 16 | 6 | 11 | 17 | 17 | 9 | 7 | 5 | 10 | 9 | 3 | 13 | 8 | 2 | 1 | 4 | 5 |
Цель работы. Освоение работы с сетями Кохонена.
Задание. Необходимо написать программу, имитирующую работу сети Кохонена. Проанализировать задачник, сформированный при выполнении первой лабораторной с помощью написанного имитатора. Сравнить скорость обучения сети при использовании классического алгоритма обучения сетей Кохонена и метода динамических ядер. Построить классификацию на два, три четыре и пять классов. Для каждого класса в каждой классификации определить следующие показатели:
Все результаты отражаются в отчете.
Цель работы. Сравнить два вида сетей ассоциативной памяти.
Используемые программы. Лабораторная выполняется на программе Hopfield.
Задание.
В отчет включаются все результаты. Кроме того, на основе полученных данных необходимо сформулировать рекомендации по тому, какие виды сетей (из четырех исследованных) предпочтительнее использовать.
Рекомендуется сохранить обучающее множество для использования в следующих лабораторных работах.
Цель работы. Исследование стратегий обучения нейронных сетей
Используемые программы. Лабораторная выполняется на программе Sigmoid.
Задание. В лабораторной работе требуется обучить нейронную сеть решению задачи распознавания пяти бинарных изображений с использованием четырех различных методов обучения и провести сравнение методов по скорости обучения и надежности работы обученной сети. Основные этапы выполнения работы:
Методы обучения:
В отчет включаются все полученные результаты (число тактов при обучении сети и результаты статистического теста для всех четырех вариантов стратегии обучения). На основе анализа полученных результатов необходимо сформулировать рекомендации по использованию исследованных стратегий обучения.
Цель работы. Исследование влияния различных видов функции оценки на обучение нейронных сетей
Используемые программы. Лабораторная выполняется на программе Sigmoid.
Задание. В лабораторной работе требуется обучить нейронную сеть решению задачи распознавания пяти бинарных изображений с использованием различных функций оценки и провести сравнение по скорости обучения и надежности работы обученной сети. Основные этапы выполнения работы те же, что и для лабораторной работы 4.
Исследуемые оценки:
В отчет включаются все полученные результаты (число тактов при обучении сети и результаты статистического теста для всех видов оценки). На основе анализа полученных результатов необходимо сформулировать рекомендации по использованию исследованных оценок.
Цель работы. Контрастирование нейронных сетей
Используемые программы. Лабораторная выполняется на программе Sigmoid.
Задание. В лабораторной работе требуется провести контрастирование обученной нейронной сети с целью минимизации числа синаптических связей и сравненить надежности функционирования контрастированной и неконтрастированной нейронных сетей. Основные этапы выполнения работы:
Контрастирование нейронной сети проводится до получения минимальной нейронной сети – сети из которой нельзя удалить ни одной связи.
В отчет включаются все полученные результаты (число тактов при обучении сети и результаты статистического теста для всех видов оценки). На основе анализа полученных результатов необходимо сформулировать рекомендации по использованию исследованных оценок.
Цель работы. Сравнить сети использующие различные виды нейронов.
Используемые программы. Лабораторная выполняется на программах Sigmoid, Pade, Sinus.
Задание. Необходимо обучить нейронные сети, реализованные в программах Sigmoid, Pade и Sinus с максимальным уровнем надежности. Для программы Sigmoid (сигмоидная сеть) максимальным , но недостижимым уровнем надежности является 2. На практике удается обучить сеть с уровнем надежности 1,9 - 1,98.Для Паде сети (программа Pade)нет ограничения на достижимый уровень надежности, однако в программе установлено ограничение на уровень существенности – 200. В программе Sinus (сеть с синусоидной характеристикой) максимальный уровень надежности 2 является достижимым.
Для каждой сети определяются следующие показатели: