最近學習BP神經(jīng)網(wǎng)絡，網(wǎng)上文章比較參差不齊，對于初學者還是很困惑，本文做一下筆記和總結，方便以后閱讀學習。

一、BP神經(jīng)網(wǎng)絡的概念

BP神經(jīng)網(wǎng)絡是一種多層的前饋神經(jīng)網(wǎng)絡，其主要的特點是：信號是前向傳播的，而誤差是反向傳播的。具體來說，對于如下的只含一個隱層的神經(jīng)網(wǎng)絡模型：輸入向量應為n個特征

BP神經(jīng)網(wǎng)絡的過程主要分為兩個階段，第一階段是信號的前向傳播，從輸入層經(jīng)過隱含層，最后到達輸出層；第二階段是誤差的反向傳播，從輸出層到隱含層，最后到輸入層，依次調(diào)節(jié)隱含層到輸出層的權重和偏置，輸入層到隱含層的權重和偏置。

1. 神經(jīng)元：神經(jīng)元，或稱神經(jīng)單元/神經(jīng)節(jié)點，是神經(jīng)網(wǎng)絡基本的計算單元，其計算函數(shù)稱為激活函數(shù)（activation function），用于在神經(jīng)網(wǎng)絡中引入非線性因素，可選擇的激活函數(shù)有：Sigmoid函數(shù)、雙曲正切函數(shù)（tanh）、ReLu函數(shù)（Rectified Linear Units），softmax等。

1.1 Sigmoid函數(shù)，也就是logistic函數(shù)，對于任意輸入，它的輸出范圍都是（0,1）。公式如下：

Sigmoid的函數(shù)圖如上所示，很像平滑版的階躍函數(shù)。但是，sigmoid 有很多好處，例如：

（1）它是非線性的

（2）不同于二值化輸出，sigmoid 可以輸出0到 1 之間的任意值。對，跟你猜的一樣，這可以用來表示概率值。

（ 3)與 2 相關，sigmoid 的輸出值在一個范圍內(nèi)，這意味著它不會輸出無窮大的數(shù)。但是，sigmoid 激活函數(shù)并不完美： 梯度消失。如前面的圖片所示，當輸入值 z 趨近負無窮時，sigmoid 函數(shù)的輸出幾乎為0 . 相反，當輸入 z 趨近正無窮時，輸出值幾乎為 1 . 那么這意味著什么？在這兩個極端情況下，對應的梯度很小，甚至消失了。梯度消失在深度學習中是一個十分重要的問題，我們在深度網(wǎng)絡中加了很多層這樣的非線性激活函數(shù)，這樣的話，即使第一層的參數(shù)有很大的變化，也不會對輸出有太大的影響。換句話講，就是網(wǎng)絡不再學習了，通常訓練模型的過程會變得越來越慢，尤其是使用梯度下降算法時。

1.2 Tanh函數(shù)

Tanh 或雙曲正切是另一個深度神經(jīng)網(wǎng)絡中常用的激活函數(shù)。類似于 sigmoid 函數(shù)，它也將輸入轉化到良好的輸出范圍內(nèi)。具體點說就是對于任意輸入，tanh 將會產(chǎn)生一個介于-1 與 1 之間的值。

Tanh函數(shù)圖

如前面提及的，tanh 激活函數(shù)有點像 sigmoid 函數(shù)。非線性且輸出在某一范圍，此處為(-1, 1)。不必意外，它也有跟 sigmoid 一樣的缺點。從數(shù)學表達式就可以看出來，它也有梯度消失的問題，以及也需要進行開銷巨大的指數(shù)運算。

1.3

ReLU

終于講到了 Relu，人們起初并不覺得它的效果會好過 sigmoid 和 tanh。但是，實戰(zhàn)中它確實做到了。事實上，cs231n 課程甚至指出，應該默認使用 Relu 函數(shù)。

ReLU 從數(shù)學表達式來看，運算十分高效。對于某一輸入，當它小于0時，輸出為0，否則不變。下面是 ReLU 的函數(shù)表達式。Relu(z) = max(0,z)

那么你可能會問，「它是線性函數(shù)吧？為何我們說它是非線性函數(shù)？」

在線代中，線性函數(shù)就是兩個向量空間進行向量加和標量乘的映射。

給定上面的定義，我們知道 max(0, x)是一個分段線性函數(shù)。之所以說是分段線性，是因為它在(?∞, 0]或[0,+∞)上符合線性函數(shù)的定義。但是在整個定義域上并不滿足線性函數(shù)的定義。例如f(?1)+ f(1)≠f (0)

所以 Relu 就是一個非線性激活函數(shù)且有良好的數(shù)學性質，并且比 sigmoid 和 tanh 都運算得快。除此以外，Relu 還因避免了梯度消失問題而聞名。然而，ReLU 有一個致命缺點，叫「ReLU 壞死」。ReLu 壞死是指網(wǎng)絡中的神經(jīng)元由于無法在正向傳播中起作用而永久死亡的現(xiàn)象。

更確切地說，當神經(jīng)元在向前傳遞中激活函數(shù)輸出為零時，就會出現(xiàn)這個問題，導致它的權值將得到零梯度。因此，當我們進行反向傳播時，神經(jīng)元的權重將永遠不會被更新，而特定的神經(jīng)元將永遠不會被激活。

還有件事值得一提。你可能注意到，不像 sigmoid 和 tanh，Relu 并未限定輸出范圍。這通常會成為一個很大的問題，它可能在另一個深度學習模型如遞歸神經(jīng)網(wǎng)絡（RNN）中成為麻煩。具體而言，由 ReLU 生成的無界值可能使 RNN 內(nèi)的計算在沒有合理的權重的情況下發(fā)生數(shù)值爆炸。因此反向傳播期間權重在錯誤方向上的輕微變化都會在正向傳遞過程中顯著放大激活值，如此一來學習過程可能就非常不穩(wěn)定。我會嘗試在下一篇博客文章中詳細介紹這一點。（摘自https://my.oschina.net/amui/blog/1633904）

1.4 softmax簡介

Softmax回歸模型是logistic回歸模型在多分類問題上的推廣，在多分類問題中，待分類的類別數(shù)量大于2，且類別之間互斥。比如我們的網(wǎng)絡要完成的功能是識別0-9這10個手寫數(shù)字，若最后一層的輸出為[0,1,0, 0, 0, 0, 0, 0, 0, 0]，則表明我們網(wǎng)絡的識別結果為數(shù)字1。

Softmax的公式為

，可以直觀看出如果某一個zj大過其他z,那這個映射的分量就逼近于1,其他就逼近于0，并且對所有輸入數(shù)據(jù)進行歸一化。

2.權重:

3.偏置

偏置單元（bias unit），在有些資料里也稱為偏置項（bias term）或者截距項（intercept term），它其實就是函數(shù)的截距，與線性方程 y=wx+b 中的 b 的意義是一致的。在 y=wx+b中，b表示函數(shù)在y軸上的截距，控制著函數(shù)偏離原點的距離，其實在神經(jīng)網(wǎng)絡中的偏置單元也是類似的作用。

因此，神經(jīng)網(wǎng)絡的參數(shù)也可以表示為：(W, b)，其中W表示參數(shù)矩陣，b表示偏置項或截距項。

2.反向傳播調(diào)節(jié)權重和偏置