Понимание функции активации. Работа и использование в ANN!
При работе с нейронной сетью мы определяем функцию активации для сопоставления выходов с входами, подаваемыми в сеть. Поскольку между входным и выходным слоями существует множество скрытых слоев, функция активации используется для предоставления информации следующему соседнему слою.
Функция активации также известна как функция передачи, поскольку ее основная функция заключается только в обработке выходных данных для передачи их на следующий соседний уровень или сеть.
Функция чистого ввода дает суммирование всех весов и входных данных, переданных в сеть, а затем функция активации отображает схему, которая будет передана соседнему слою после нее. Поскольку сеть может быть обучена для соответствия ряду типов моделей, функция активации также может использоваться в двух областях (или мы можем сказать, что у нас есть два типа функций активации): -
Линейная функция активации.Линейную функцию активации можно легко связать с линейным уравнением. Следовательно, линейная функция активации выглядит как прямая линия, которая аппроксимирует заданные ей входные данные. Поскольку это основная функция уравнения, она не может ограничивать вывод или фиксировать его диапазон. Например-
Нелинейная функция активации.Нелинейная функция активации — это просто кривая, которая используется для приблизительного определения класса и построения его как функции входных данных для упрощения подбора входных данных. Его можно использовать для аппроксимации большого количества данных, которые охватывают более чем одно направление. Он выбирается на основе свойств точек, которые необходимо нанести на график: имеют ли они постоянный или дифференциальный наклон, монотонно возрастают или монотонно убывают. Например-
Помимо этого, у нас может быть несколько типов функции активации:
- Личность
- Двоичный шаг
- Логистический (или сигмоидальный)
- танх
- Выпрямленная линейная единица (ReLU)
- гауссовский
I. Функция активации личности. Это линейная функция активации и самая основная функция активации. Поскольку он не может определить диапазоны вывода или установить их ограничения, он не используется и не рекомендуется. Он также монотонен. Его общее уравнение:
Его диапазон равен (-∞,∞).
II. Функция активации двоичного шага. Функция активации двоичного шага похожа на простую лестницу только с двумя выходами, либо 0, либо 1. Это нелинейный тип функции активации с отрицательным входным значением, которое должно быть отображено 0 и положительные входные значения должны быть сопоставлены с 1. Это также монотонно. Его общее уравнение
Его диапазон составляет {0,1}.
III. Логистическая (или сигмоидальная) функция активации. Это нелинейный тип функции активации, кривая которой полностью лежит в диапазоне от 0 до 1. Он носит непрерывный характер. Он также монотонен. Его функция определяется уравнением
Его диапазон лежит между (0,1).
IV. функция активации tanh — это нелинейный тип функции активации, который является непрерывным, а также монотонным. Его функция задается уравнением
Его диапазон находится между -1 и 1, т.е. (-1,1).
V. Выпрямленная линейная единица (ReLU). Выпрямленная линейная единица, широко известная как ReLU, представляет собой нелинейный тип функции активации, которая выводит значение 0, если подается отрицательное значение, и положительное значение x для каждого положительного значения. вход, подаваемый на слой. Его функция задается уравнением
Таким образом, его диапазон полностью лежит в диапазоне [0,∞].
VI. Функция активации Гаусса. Функция активации Гаусса максимизирует свой выход, когда вход, данный ей, равен 0, и его выход всегда симметричен оси y. Его уравнение задается как
Он находится в диапазоне от 0 до 1 (0 без учета, 1 включительно).
Свяжитесь со мной @ Электронная почта, Веб-сайт для получения более подробной информации.
