Нейронные сети — это компьютерные программы, разработанные для обучения на основе данных. Сеть состоит из слоев, связанных узлами (нейронами). В слоях различают: входной, выходной и промежуточные (скрытые) уровни. Нейроны входного слоя получают начальные данные, в скрытых слоях обрабатывают информацию, в выходном слое создают прогноз.
| бэкенд | (англ. back-end) — программно-аппаратная часть сервиса, продукта. |
| последовательная сеть прямого распространения | Ffnn (feed-forwarded neural net), нейронная сеть, в которой все связи направлены только от входа сети к ее выходу (без операций распараллеливания или циклов). |
| cntk | Microsoft cognitive toolkit — стандартизированный инструментарий для проектирования и развития сетей разнообразных видов, применяет искусственный интеллект для работы с большими объёмами данных пу... |
| yaml | Акроним англ. «yet another markup language» — «ещё один язык разметки», позже — рекурсивный акроним англ. «yaml ain`t markup language» — «yaml — не язык разметки») — «дружественный» формат сериали... |
| relu | Активационная функции выполняющая простое нелинейное преобразование поданных на вход данных (x). возвращает x, если x >0 и 0 в противном случае. отличается высокой скоростью вычисления. |
| softmax | Активационная функция, выполняющая нелинейное преобразование на основе математической функции: взвешенная сигмоида. также может быть использована как функция активации для выходного слоя в задачах... |
| xml | Англ. extensible markup language, — расширяемый язык разметки. xml разрабатывался как язык с простым формальным синтаксисом, удобный для создания и обработки документов программами и одновременно ... xml; |
| генеративная нейронная сеть (генеративно-состязательная сеть) | Англ. generative adversarial network, сокращённо gan, — алгоритм машинного обучения без учителя, построенный на комбинации из двух нейронных сетей, одна из которых (сеть g) генерирует образцы, а д... |
| json | Англ. javascript object notation, — текстовый формат обмена данными, основанный на javascript. |
| обучение с подкреплением | Англ. reinforcement learning, — один из способов машинного обучения, в ходе которого испытуемая система обучается, взаимодействуя с некоторой средой. обучение происходит за счет получения/не получ... |
| theano | Библиотека численного вычисления в python. вычисления в theano выражаются numpy-подобным синтаксисом и компилируются для эффективных параллельных вычислений как на обычных cpu, так и на gpu. в нас... |
| cudnn | Библиотека, содержащая оптимизированные для gpu реализации сверточных и рекуррентных сетей, различных функций активации, алгоритма обратного распространения ошибки и т.п., что позволяет обучать не... |
| предварительная обработка данных | Важный шаг в процессе интеллектуального анализа данных. результатом предварительной обработки данных является конечный тренировочный набор. |
| gpu | Графический процессор (англ. graphics processing unit) — отдельное устройство персонального компьютера или игровой приставки, выполняющее графический рендеринг. |
| слой нейронной сети | Группа нейронов, находящихся на одном уровне иерархии имеющих общий вход / выход и функцию активации. |
| зашумленные данные | Данные с наличием шума (случайных возмущений) разной степени выраженности, способными негативно повлиять на качество обучения нейронной сети. также под словом "шум" понимают случайные признаки, не... |
| тестовая выборка | Данные, на которых идет проверка качества работы ранее обученной сети. |
| обучающая выборка | Данные, на которых происходит обучение нейронной сети. training set; |
| интеллектуальная задача | Задача, решение которой происходит не по заранее определенному, точному алгоритму, а благодаря самообучению как свойству обучающейся системы. |
| cuda | Изначально аббр. от англ. compute unified device architecture — программно-аппаратная архитектура параллельных вычислений, которая позволяет существенно увеличить вычислительную производительность... |
| machine learning | Класс методов, характерной чертой которых является не прямое решение задачи (на основе правил / формул), а обучение в процессе применения решений множества сходных задач. |
| epoch | Количество повторений циклов обучения для всей выборки данных. |
| батч / batch_size | Количество элементов выборки, с которыми идет работа в пределах одной итерации до изменения весов. |
| fit | Метод keras, запускающий обучение нейронной сети. |
| predict | Метод keras, запускающий работу нейронной сети на предсказание / распознавание данных. |
| argmax | Метод библиотеки numpy, возвращающий индекс максимального значения в массиве. |
| one hot encoding | Метод преобразования категориальных данных при котором каждая категория кодируется 1 или 0, в зависимости от присутствия данной категории в конкретном примере данных. (например для 5 категорий отс... |
| sequential | Модель в библиотеке keras, позволяющая создать нейронную сеть прямого распространения путем последовательного добавления слоев. |
| метод обратного распространения ошибки (back propagation) | Модификация метода классического градиентного спуска, метод обновления весов нейронной сети, при котором распространение сигналов ошибки происходит от выходов сети к её входам, в направлении, обра... |
| google colaboratory | Облачная платформа с предустановленным программным обеспечением и библиотеками (keras, tensorflow, jupyter notebook и т.д.) для проведения ресурсоемких вычислений, которую удобно использовать в то... |
| dense | Обозначение полносвязного слоя в нейронной сети. |
| keras | Открытая нейросетевая библиотека, написанная на языке python. представляет собой надстройку над фреймворками deeplearning4j, tensorflow и theano и нацелена на работу с сетями глубокого обучения. |
| валидационная выборка | Отложенный набор данных, на котором тестируется качество финальной архитектуры сети, после подбора наилучших параметров. |
| input_dim | Параметр нейронной сети, указывающий, какое количество значений будет подаваться на вход заданного слоя нейронной сети. |
| выделение признаков (feature extraction) | Процесс выделения нейронной сетью различных признаков объекта (явления, процесса) в процессе её обучения. |
| verbose | Режим вывода информации о процессе обучения нейронной сети. |
| обучение без учителя | - См. кластеризация.
- Процесс обучения нейронной сети, при котором наличие набора эталонов отсутствует.
unsupervised learning; |
| back propagation | См. метод обратного распространения ошибки. |
| data mining | Собирательное название, используемое для обозначения совокупности методов интеллектуального анализа данных. |
| deep learning (глубокое обучение) | Совокупность методов машинного обучения основанных на построение нейронных сетей различной сложности и большой глубины (более 2-х слоев). |
| mnist | Сокращение от «modified national institute of standards and technology», — объемная база данных образцов рукописного написания цифр. база данных является стандартом, предложенным национальным инст... |
| matlab | Сокращение от англ. «matrix laboratory», — пакет прикладных программ для решения задач технических вычислений и одноимённый язык программирования, используемый в этом пакете. |
| компиляция сети | Специализированная команда в библиотеке keras, которая финализирует все изменения в архитектуре сети, после чего сеть готова к обучению с помощью команд fit / fit_generator. |
| кластеризация / обучение без учителя | Тип задачи, при котором происходит разбиение выборки на группы схожих объектов, при этом испытуемая система спонтанно обучается выполнять поставленную задачу без вмешательства со стороны экспериме... |
| accuracy / acc (точность) | Точность (правильно классифицированных примеров ко всем примерам) как метрика оценки качества обучения сети. |
| categorical_crossentropy | Функция ошибки сети используемая при задачах многоклассовой классификации (более 2-х классов). |
| нелинейная функция | Функция, которую нельзя выразить в линейном виде: у=ах+b. |
| тождественная активационная функция | Функция, при которой f(x) = x, т.е. функция никак не преобразует аргумент. |
| хевисайда функция | Функция, равная нулю для отрицательных значений аргумента и единице — для положительных. |
| принцип рецептивных полей | Это биологический принцип, при котором множество сенсорных рецепторов образуют синапсы c единственным нейроном и они совместно формируют рецептивное поле этого нейрона. |
| поверхность ошибки | Это геометрическая форма функции потерь, вычисляемая в каждой точке. |
| веса | Это действительные числа, отражающие коэффициент связи между конкретными нейронами. |
| выход нейронной сети | Это итоговое значение функций активации, применённых к взвешенным суммам нейронной сети. |
| максимум локальный | - Это максимальное значение функции на заданном множестве.
- Наибольшее значение функции в некоторой области ее параметров.
локальный максимум; |
| минимум локальный | - Это минимальное значение функции на заданном множестве.
- Наименьшее значение функции в некоторой области ее параметров.
|
| активация нейрона | Это применение к нему нелинейной функции. |
| рекуррентная нейронная сеть | - Это сеть с памятью, хранящая информацию о том, что в ней происходило в прошлые итерации обучения. достигается это благодаря тому, что каждый нейрон в такой сети имеет связь с самим собой.
<...
recurrent neural network; |
| сеть прямого распространения (feedforward) | Это сеть, в которой все связи направлены строго от входных нейронов к выходным. |
| полносвязная нейронная сеть | Это сеть, в которой каждый нейрон связан со всеми остальными нейронами, находящимися в соседних слоях. |
| сверточная нейронная сеть | Это сеть, работающая по принципу рецептивных полей суть которого заключается в том, что каждый нейрон последующего следующего слоя "смотрит" на небольшой кусочек (например, 3 на 3 пикселя) предыду... |
| архитектура сети | Это совокупность значимых параметров сети, определяющих её назначение и возможности, среди которых: структура и конфигурация слоев нейронной сети а также характер взаимодействия между слоями. |
| прогнозирование временных рядов | Это тип задачи, при котором обладая упорядоченным по времени рядом значений, нам нужно понять, какие значения будут идти в нем дальше. |
| активационная функция / функция активации | Это функция, определяющая выходной сигнал на основе трансформации входного сигнала: выход = функция активации (вход). |
| итерация обучения | Это часть процесса работы сети с данными, продолжительность которой равна времени обработки одного батча. |
| генетический алгоритм | Это эвристический алгоритм поиска, используемый для решения задач оптимизации и моделирования путём случайного подбора, комбинирования и вариации искомых параметров с использованием механизмов, ан... |
| activation (transfer) function |
активационная (передаточная) функция; |
| активационная (передаточная) функция | Функция линейного или нелинейного преобразования состояния нейрона. эта функция преобразует сумму взвешенных входов нейрона в его выход. activation (transfer) function; |
| adaline (adaptive linear element) |
адалина; |
| адалина | Одно из наименований для линейного нейрона, для которого активационная функция adaline (adaptive linear element); |
| обратное распространение | Наиболее применяемый способ управляемого обучения, при котором сигнал ошибки на выходе нейронной сети распространяется в обратном направлении: от нейронов выходного слоя к нейронам входного слоя с... backpropagation; |
| backpropagation batch |
обратное распространение в автономном режиме; |
| обратное распространение в автономном режиме | Разновидность алгоритма обучения с обратным распространением ошибки, когда коррекция весов и смещений производится один раз за период обучения backpropagation batch; |
| backpropagation on-line |
обратное распространение в режиме реального времени; |
| обратное распространение в режиме реального времени | Модификация алгоритма обучения по методу обратного распространения ошибки, когда веса и смещения сети корректируются после предъявления каждого нового образа (вектора) обучающей последовательности... backpropagation on-line; |
| сеть с обратной связью | Сеть с соединениями с выхода сети на ее вход. feedback network; |
| сеть с прямыми связями (сеть без обратных связей) | Многослойная сеть, в которой каждый слой своими входами имеет выходы только предшествующих слоев. feedforward network; |
| скрытый (промежуточный) слой | Слой, содержащий нейроны (узлы), на которые не поступают входные данные и с которых не считываются выходные данные нейронной сети. hidden layer; |
