BP神經網路的特點，BP神經網路的缺點

人們普遍認為，人腦的思維分為三種基本方式：抽象（邏輯）思維、視覺（直覺）思維和靈感（頓悟）思維。

邏輯思維是指根據邏輯規則進行推理的過程; 它首先將資訊轉化為概念並用符號表示，然後根據序列模式下的符號運算進行邏輯推斷。 此過程可以編寫為序列指令，供計算機執行。 然而，直覺思維是分布式儲存資訊的綜合，從而為突然出現的問題提出想法或解決方案。 這種思維方式的根本點在於以下兩點：

1.資訊通過神經元上興奮模式的分布儲存在網路上; 2.資訊處理是通過神經元同時相互作用的動態過程完成的。

人工神經網路具有初步的自適應和自組織能力。 突觸權重值在學習或訓練過程中會發生變化，以適應周圍環境的要求。 根據學習方法和內容的不同，同乙個網路可以具有不同的功能。

人工神經網路是一種學習系統，可以開發超出設計者原始知識水平的知識。 一般來說，其學習和訓練方法可以分為兩種型別，一種是監督式或輔導式學習，即使用給定的樣本標準進行分類或模仿; 另一種是無監督學習或無輔導學習，在這種情況下，只規定了學習方法或一些規則，然後具體的學習內容隨系統所處的環境（即輸入訊號情況）而變化，系統可以自動發現環境的特徵和規律性，其功能更類似於人腦。

科普中國，科學百科全書：BP神經網路。

1）區域性最小化問題：從數學角度來看，傳統的BP神經網路是一種區域性搜尋的優化方法，它求解了乙個複雜的冰雹復非線性問題，網路的權重沿著區域性改進的方向逐漸調整，這將使演算法沉入區域性極值，權重收斂到區域性極小值， 導致網路訓練失敗。此外，BP神經網路對初始網路權重非常敏感，不同權重的網路初始化趨於收斂到不同的區域性極小度，這也是許多學者每次訓練得到不同結果的根本原因。

2）BP神經網路演算法。

收斂速度慢：因為BP神經網路演算法本質上是一種梯度下降方法。

待優化的目標函式非常複雜，因此不可避免地會出現“之字形”，使BP演算法效率低下; 而且由於優化的目標函式非常複雜，當神經元輸出接近0或1時，它不可避免地會出現一些平坦的區域，而在這些區域，權重誤差變化很小，使訓練過程幾乎停滯不前。

3）BP神經網路結構的選擇不同：BP神經網路結構的選擇沒有統一完整的理論指導，只能憑經驗來選擇。如果網路結構過大，訓練效率不高，可能會出現過擬合。

如果選擇太小，網路可能無法收斂。 網路的結構直接影響到網路的近似能力和推廣性質。 因此，如何為應用選擇合適的網路結構是乙個重要問題。

4）應用例項與網路規模的矛盾：BP神經網路難以解決應用問題的例項規模與網路規模之間的矛盾，這涉及到網路容量的可能性和可行性之間的關係，即學習複雜性問題。

5）BP神經網路能力與訓練能力的矛盾：能力又稱泛化能力或泛化能力，訓練能力又稱近似能力或學習能力。

一般來說，當訓練能力差的時候，**能力也很差。

back propagation

BP（Back Propagation）神經網路，即誤差反向傳播誤差反向傳播演算法的學習過程，由資訊前向傳播和誤差反向傳播兩個過程組成。 輸入層中的每個神經元負責接收來自外界的輸入資訊，並將其傳輸到中間層的神經元。 中間層是內部資訊處理層，負責資訊轉換，中間層（隱藏層）可以根據資訊變化能力的需要設計為單個隱藏層或多個隱藏層結構; 由最後乙個隱藏層傳輸到輸出層中每個神經元的資訊經過進一步處理，完成乙個學習的前向傳播處理過程，並將資訊處理結果從輸出層輸出到外界。

神經網路有很多種，BP神經網路是最常用的。