反向傳播演算法的演算法介紹，什麼是反向傳播演算法？

反向傳播演算法（BP演算法）由兩個步驟（激勵傳播和權重更新）和反覆迭代組成，直到網路對輸入的響應達到預定的目標範圍。

反向傳播演算法，簡稱BP演算法，是一種適用於多層神經元網路的學習演算法。

它基於梯度下降法。 BP網路的輸入-輸出關係本質上是一種對映關係：具有n個輸入和M個輸出的BP神經網路的功能是從n維歐幾里得空間到m維歐幾里得空間中的有限域的連續對映，這是高度非線性的。

其資訊處理能力高於簡單非線性函式的多重復合，因此具有較強的函式再現能力。 這是應用BP演算法的基礎。

反向傳播演算法的動機介紹反向傳播演算法旨在減少常見子表示式的數量，而不管儲存開銷如何。 反向傳播避免了重複子表示式的指數。 但是，其他演算法可以通過簡化計算圖來避免更多的子表示式，或者也可以通過重新計算而不是儲存這些子表示式來節省記憶體。

反向傳播演算法（過程和公式數搜尋推導）如下：

反向傳播演算法適用於多層神經元網路的學習演算法，該演算法基於梯度下降法。 反向傳播演算法網路的輸入-輸出關係本質上是一種對映關係：n-輸入m輸出BP神經網路的功能是從n維歐幾里得空間到m維歐幾里得空間中有限域的連續對映，這是高度非線性的。

反向傳播演算法主要由兩個環節（刺激傳播和權重更新）和反覆迭代組成，直到網路對輸入的響應達到預定的目標範圍。

反向傳播演算法的資訊處理能力高於簡單非線性函式的多重復合，因此具有很強的功能再現能力。 這是應用BP演算法的基礎。 反向傳播演算法旨在減少常見子表示式的數量，而不管儲存開銷如何。

反向傳播避免了重複子表示式的指數。

冒泡快樂週末鴨子！

例如：如下圖所示，這是：具有隱藏層的三層神經網路，-Little Girl 隱藏層節點。

Yellow Cap 輸出層節點。

哆啦A夢錯誤。

小女孩接收左側的輸入訊號，通過隱藏層節點產生輸出結果，而哆啦A夢則引導引數向更好的方向調整。 由於哆啦A夢可以直接將誤差反饋給小黃帽，因此可以通過誤差（實縱線）直接優化左側直接連線到小黃帽的引數矩陣。與小女孩直接相連的左側引數矩陣，由於沒有得到哆啦A夢的直接反饋（棕色虛線），因此無法直接優化。 但是，由於採用了反向傳播演算法，哆啦A夢的反饋可以傳遞給小女孩，然後產生間接誤差，因此連線到小女孩直尖峰的左權重矩陣可以通過間接誤差進行更新，經過幾輪迭代後，誤差會降低到最小。

換句話說，小男孩得到乙個直接錯誤，而小女孩得到乙個間接錯誤

整個過程將通過乙個示例進行演示。

假設下圖中有乙個加權網路層，第一層是輸入層，包含兩個神經元 i1、i2 和截距項 b1;第二層是隱藏層，包含兩個神經元H1、H2和截距項B2，第三層是輸出O1、O2，每行的wi是層間連線的權重，啟用函式預設為sigmoid函式。

通過正向傳播，我們得到輸出值為 [ ，這與實際值 [ 相差甚遠，然後我們反向傳播誤差，更新權重，重新計算輸出。

3.輸入圖層---隱藏圖層的指標更新：

在上面計算總誤差到w5的偏導數時，它是從out（o1）--net（o1）--w5開始的，但是當隱藏層之間的權重更新時，它是out（h1）--埋網（h1）--w1，而out（h1）會接受來自e（o1）和e（o2）的誤差，所以兩者都必須在這個地方計算。

根據BP演算法的工藝演示，可以得到BP演算法的一般工藝：

1.FP（尋道損失）的前向傳播。

在這個過程中，我們根據輸入樣本、給定的初始化權重值 w 和偏置項的值 b 計算最終輸出值和輸出值與實際值之間的損失值。 （注意：如果損失值不在給定範圍內，則執行下乙個反向傳播過程，否則停止 w，b 的更新。

2.反向傳播 bp（回程誤差）。

輸出通過隱藏層以某種形式逐層傳回輸入層層，誤差分布到各層的所有元素，通過彎曲鍵得到各層元素的誤差訊號，並以此誤差訊號作為校正各元素權重的依據。 （主要有： 將引數 w 從隱藏層更新到輸出層 將引數 w 從輸入層更新到隱藏層。

結束語 了解計算和公式仍然很重要！

反向傳播是一種非常簡單的演算法，任何研究過微積分的人都可以輕鬆理解。 本文希望避免冗餘和複雜，讓人看得不舒服，簡明扼要地描述反向傳播演算法的推導過程和求解過程。

反向傳播的要點僅是禪宗和禪宗的3個公式，這裡總結如下：

已知： 推導：

全面差異化審查：

推導：反向傳播的本質是鏈律+動態規劃。

在整個計算圖中，假設每條連線邊代表上層到下層的導數，那麼傳統的求解乙個引數關於成本函式的導數的方法，根據鏈式方法，需要計算從最後一層到該引數路徑的所有導數，然後將它們相乘。 可以想象，隨著網路深度的增加，計算複雜度將變得非常大。

在反向傳播演算法中，通過前向傳播過程計算並儲存每一層的輸出，然後利用鏈式法則推導從後到前的遞迴公式，使圖上的每條邊只需計算一次即可找到任意引數的導數。