当前位置:首页 » 新媒体运营 » 正文

神经网络中常用的激活函数有哪些,什么是神经网络的激活函数?

4019 人参与  2022年05月14日 10:22  分类 : 新媒体运营  评论

先决条件:建议具备一些机器学习算法的知识和对人工神经网络的基本了解。

什么是神经网络的激活函数?

激活函数有助于决定我们是否需要激活神经元。如果我们需要激发一个神经元,那么信号的强度是多少。

激活函数是神经元通过神经网络处理和传递信息的机制。

为什么我们需要神经网络中的激活函数?
什么是神经网络的激活函数?


在神经网络中,z 是输入节点和节点权重加上偏差的乘积。 z 的方程看起来与线性方程非常相似,并且可以具有范围从 +infinity 到 -infinity 的值

如果神经元值的范围可以从 -infinity 到 + infinity,那么我们将无法决定是否需要触发神经元。

这就是激活帮助我们解决问题的地方。

如果 z 本质上是线性的,那么我们将无法解决复杂的问题。这是我们使用激活函数的另一个原因。

激活函数的种类

有不同类型的激活函数,其中一些非常常见和流行的是:

  • Threshold or Binary step activation function

  • Sigmoid

  • Softmax

  • Tanh or Hyperbolic tangent

  • ReLU and

  • Leaky ReLU

为什么我们需要这么多不同的激活函数,我如何决定使用哪一个?
让我们回顾一下每个激活函数,并了解它们最适合使用的地方以及原因。这将帮助我们决定在不同场景中使用哪种激活函数。

阈值或阶跃函数(Threshold or Binary Step function)
什么是神经网络的激活函数?


这是最简单的函数,可以认为是 是或否函数

如果 z 的值高于阈值,则激活设置为 或是,神经元将被激发。
如果 z 的值低于阈值,则激活设置为 或否,并且不会触发神经元。
它们对于二元分类很有用。

Sigmoid 激活函数
什么是神经网络的激活函数?


Sigmoid 函数是一个平滑的非线性函数,没有扭结,看起来像 S 形。

它可以预测输出的概率,因此用于神经网络的输出层和逻辑回归。

由于概率在 到 之间,所以 sigmoid 函数值存在于 到 之间。

但是,如果我们想要分类的不仅仅是是或否怎么办?如果我想预测多个类,比如预测晴天、雨天或多云的天气怎么办?

Softmax 激活有助于多类分类

Softmax 激活函数

Sigmoid 激活函数用于两类或二元类分类,而 Softmax 用于多类分类,是 Sigmoid 函数的推广。

在 Softmax 中,我们得到每个类的概率总和应该等于。当一个类的概率增加时,其他类的概率会减小,因此概率最高的类是输出类。

示例:在预测天气时,我们可能会得到晴天的输出概率为 .,阴天的输出概率为 .,雨天的输出概率为 .。在这种情况下,我们将具有最大概率的输出作为最终输出。在这种情况下,我们将预测天气晴朗。

Softmax 计算每个目标类的概率超过所有可能的目标类的概率。

什么是神经网络的激活函数?


双曲正切激活函数(Hyperbolic Tangent or Tanh Activation Function)
什么是神经网络的激活函数?


对于双曲 tanh 函数,输出以 为中心,输出范围在 - 和 + 之间。

看起来与 sigmoid 非常相似。

实际上双曲 tanh 是缩放的 sigmoid 函数。与 sigmoid 相比,tanh 的梯度下降更强,因此优于 sigmoid

tanh 的优点是负输入将被映射为强负,零输入将映射到接近零,这在 sigmoid 中不会发生,因为 sigmoid 的范围在 和 之间

整流线性单元-ReLU (Rectifier Linear Unit-ReLU

什么是神经网络的激活函数?


  • ReLU本质上是非线性的,这意味着它的斜率不是恒定的。 Relu 在零附近是非线性的,但斜率为 或 ,因此具有有限的非线性。

  • 范围是从 到无穷大

  • 当 z 为正时,ReLU 给出与输入相同的输出。

  • 当 z 为零或小于零时,它的输出为 。因此,当输入为零或小于零时,ReLU 会关闭神经元。

  • 所有深度学习模型都使用 Relu,但它只能用于隐藏层,因为它会导致稀疏性。稀疏性是指空值或“NA”值的数量。

  • 当隐藏层暴露于一系列输入值时,整流函数将导致更多的零,从而导致更少的神经元被激活,这意味着神经网络之间的交互更少。

  • ReLU 比 sigmoid 或 tanh 更积极地打开或关闭神经元

  • Relu 面临的挑战是负值变为零会降低模型正确训练数据的能力。为了解决这个问题,我们有 Leaky ReLU

Leaky ReLU
什么是神经网络的激活函数?


Leaky ReLU. Value of a is usually .

在leaky ReLU 中,我们引入了一个小的负斜率,因此它没有零斜率。这有助于加快训练。
Leaky ReLU 的范围从 -infinity 到 +infinity

这将很好地理解不同的激活函数。

本文链接:http://www.woshiqian.com/post/115265.html

百度分享获取地址:https://share.baidu.com/code
神经网络中常用的激活函数有哪些  

我是钱微信/QQ:5087088

广告位、广告合作QQ:5087088

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

       

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。