首先感謝這位博主整理的Andrew Ng的deeplearning.ai的相關作業：https://blog.csdn.net/u013733326/article/details/79827273

開一個我的github傳送門，可以看到代碼。

https://github.com/VVV-LHY/deeplearning.ai/tree/master/improveNeuralNetwork/InitializeRegularize

L2正則化

待分類的數據點集;

未使用L2正則化的模型迭代過程和accuracy：

使用L2正則化的模型迭代過程和accuracy：

未使用L2正則化的訓練集分類效果：

使用L2正則化的訓練集分類效果：

明顯可以看出，未使用L2正則化的模型在訓練集上過擬合了數據，使用L2正則化可以有效避免過擬合問題。

所謂L2正則化就是減小了訓練集的過擬合程度，lambd參數可以讓決策邊界更加平滑，當然如果參數過大會導致過度平滑從而加大偏差。
L2正則化依賴于假設”較小權重的模型比較大權重的模型更簡單“，因此通過削減成本函數中權重的平方值，即乘lambd(lambd < 1)來將權重逐漸變小。
L2正則化的影響：
1.成本計算花費更多
2.反向傳播的花費更多
3.權重衰減，權重被逐漸改變的較小的范圍

?dropout正則化：

所謂dropout正則化就是隨機刪除隱含層單元節點的方法，可以對一個網絡中的不同隱含層設置隨機刪除節點的百分比，這樣在每一次迭代中部分節點會隨機失效。

其作用是，讓每一個節點相對于其他所有節點的敏感性下降，因為每次迭代中失效的節點都是隨機的，其他節點在任意時間都有可能失活。

使用dropout正則化的模型迭代過程和accuracy：

使用dropout正則化的訓練集分類效果：

隨機刪除節點的正則化方法會降低訓練集的準確率，但會提升測試集的準確率，所以適當的使用正則化方法不失為一種降低過擬合，提升準確率的選擇。