“ 在學(xué)習(xí)CNN的時(shí)候，我讀到Dropout具有正則化的作用時(shí)，不明白正則化的意思，查看了很多資料，寫的都很深?yuàn)W，這里我用簡(jiǎn)單的語(yǔ)言來(lái)記錄一下。。”

01

—

正則化定義

百度百科的定義寫的非常的學(xué)術(shù)化，我用我的理解來(lái)敘述一遍：通俗的意義來(lái)講就是我們想要通過(guò)一條光滑曲線（圖中綠色的曲線）來(lái)最大程度的擬合另外一條歪七扭八的曲線（圖中的藍(lán)色曲線），這樣我們就可以將這條歪七扭八存在諸多奇點(diǎn)的曲線通過(guò)方程的形式表達(dá)出來(lái)，這種做法就叫做正則化。

這樣做后，我們通過(guò)曲線來(lái)預(yù)測(cè)或者表示原圖像的時(shí)候，結(jié)果勢(shì)必就會(huì)有誤差，如果沒(méi)有誤差會(huì)是什么呢？那就是說(shuō)我們找了一條和圖中藍(lán)色曲線一模一樣的線來(lái)表示藍(lán)色的線，也就是說(shuō)我們把一些有噪音的點(diǎn)也表示出來(lái)了，這種行為放在卷積中就叫做 過(guò)擬合 ，而在卷積中，相比較于過(guò)擬合曲線，我們更希望有一條正則化的曲線。換句話說(shuō)，正則化的作用就是為了防止過(guò)擬合。那么Dropout是怎么實(shí)現(xiàn)過(guò)擬合的呢？

02

—

Dropout怎么防止過(guò)擬合

在第一眼看到Dropout的時(shí)候，我本來(lái)認(rèn)為只是簡(jiǎn)單地舍棄了一些神經(jīng)元而已，經(jīng)過(guò)研究，我發(fā)現(xiàn)其中的原理并沒(méi)有我想的那么簡(jiǎn)單。

我們從圖中看到，Dropout在每一層中通過(guò)概率來(lái)隨機(jī)的舍棄一些神經(jīng)元，注意?。。∵@些舍棄的神經(jīng)元只是在這一次訓(xùn)練中被舍棄，而不是永久的被舍棄，也就是說(shuō)，等到下一波數(shù)據(jù)到來(lái)的時(shí)候，其中一些神經(jīng)元依然會(huì)參與訓(xùn)練，最后整個(gè)網(wǎng)絡(luò)被訓(xùn)練完成后，圖中所有的神經(jīng)元都是被訓(xùn)練過(guò)的！那這么做有什么好處呢？

在左圖的標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)中，這只是一個(gè)神經(jīng)網(wǎng)絡(luò)在參與訓(xùn)練，而且容易發(fā)生過(guò)擬合。但是在右圖中，每一次訓(xùn)練的時(shí)候，都是不同的神經(jīng)元在參與訓(xùn)練，也就是說(shuō)， 右圖不僅僅是一個(gè)神經(jīng)網(wǎng)絡(luò)！?。《蔷哂袛?shù)十個(gè)神經(jīng)網(wǎng)絡(luò)在一起訓(xùn)練?。?！這就是Dropout的偉大之處！ 這種方法就相當(dāng)于，原來(lái)你是自己出謀劃策，現(xiàn)在多了數(shù)十個(gè)軍師為你出謀劃策，每一次都只聽(tīng)取一個(gè)軍師的意見(jiàn)，這種方法當(dāng)然可以防止過(guò)擬合，而CNN的原理就是擬合一條曲線來(lái)表示每個(gè)輸入，在我們解決了過(guò)擬合問(wèn)題后，我們就認(rèn)為Dropout具有正則化的作用！