樸素貝葉斯和三種常見的模型推導

樸素貝葉斯分類中涉及的貝葉斯推理公式為：p（a）*p（b|a) =p(b)*p(a|b)。

貝葉斯原因由英國數學家托馬斯·貝葉斯（Thomas Bayes，1702-1761）提出，用於描述兩個條件概率之間的關係，例如 p（a|b） 和 p（b|a)。

根據乘法規則，可以立即匯出：p（a b） = p（a）*p（b|a)=p(b)*p(a|b)。上面的公式也可以變形為：

p(b|a) =p(a|b)*p(b) /p(a)。貝葉斯定理可以從條件概率推導出來。 在圖中，A和B是兩個事件，條件概率是指乙個事件發生後另乙個事件發生的概率。

用數學符號表示，p（a|b） 指在事件 b 發生的條件下，事件 a 發生的概率。反之，p（b|a） 指在事件 A 發生的條件下，事件 B 發生的概率。事件 A 和 B 同時為真的概率等於事件 A 發生的概率乘以事件 A 發生後事件 B 的條件概率，等於事件 B 發生的概率乘以事件 B 發生後事件 A 的條件概率。

關於硬幣的例子：

概率論喜歡用硬幣作為例子，這裡我們也拿乙個硬幣的例子，主要是借用發表在naturemethods上的乙個視覺化圖表。 我們有兩個“公平”的硬幣，拋硬幣後都有 50% 的概率出現正面，即 p（h） = 50%。 在這種情況下，選擇特定硬幣 c 和特定結果 h 的正頭的聯合概率是它們各自概率的乘積，p（c，h） = p（c）*p（h）。

如果我們將其中乙個硬幣換成有偏見的硬幣，並且 75% 的硬幣被丟擲，那麼硬幣的選擇和正面就不是獨立的事件。 兩個事件之間的關係可以用上面提到的條件概率 p（h|cb) =75%。

P（CB）是我們對硬幣在丟擲硬幣之前有偏差的概率的“猜測”，即先驗概率。 和 p（cb|h）是對拋硬幣出來後硬幣偏向的概率的重新“猜測”，即後驗概率。p(h|cb）等於，p（cb）等於;而 p（h） 等於 p（h|c)*p(c) +p(h|cb）*p（cb），等於。

根據貝葉斯公式，我們知道 p（cb|h） 等於。

由上所述，我們通過拋硬幣的結果從先驗概率中獲得後驗概率。 如果拋硬幣繼續，我們有越來越多的“資料”，而下一次拋硬幣仍然是正數（有些人認為硬幣有偏差），我們可以用第一後驗概率更新原來的假設先驗概率，然後使用新的貝葉斯公式來計算新的後驗概率。

貝葉斯模型的推理方法主要包括：啟發式策略理論、自然取樣空間假說、頻率效應理論和取樣處理理論。

貝葉斯推理是英國牧師貝葉斯發現的一種歸納推理方法，後來許多研究者在觀點、方法和理論上不斷改進貝葉斯方法，最終形成了乙個有影響力的統計學流派，打破了古典統計學的主導地位。 貝葉斯推理是在經典統計歸納推理——估計和假設檢驗的基礎上發展起來的一種新的推理方法。

與經典的統計歸納推理方法相比，貝葉斯推理不僅要根據當前觀察到的樣本資訊得出結論，還要根據推論者的相關經驗和知識得出結論。 作為一種推理方法，貝葉斯推理是概率論中貝葉斯定理的延伸。

研究概述：

卡尼曼和特沃斯基開闢了概率推理的重要研究領域。 他們在20世紀70年代初的研究首先發現，人們的直覺概率推理並不遵循貝葉斯原理，這表現在問題中的基本概率資訊在判斷中往往被忽略，判斷主要基於命中率資訊。

他們的經典研究之一是告訴參與者，100人中有70人是律師，30人是工程師，當他們從中隨機選擇時，當這個人的性格特徵被描述為工程師時，參與者判斷該人是工程師的可能性很接近。 顯然，參與者忽略了工程師只有30%的基本概率。

隨後，他們還用各種問題來驗證基本的概率無知現象，比如要求參與者解決以下計程車問題：乙個城市85%的計程車屬於綠車公司，15%屬於藍車公司，現有的計程車捲入了肇事逃逸事件， 據目擊者稱，肇事車輛屬於藍車公司，目擊者的可靠性為80%。問：肇事汽車是藍色汽車的概率是多少？

大多數參與者認為結果為 80%，但考慮到基本概率時，應該是 41%。

貝葉斯公式的簡單推導：

樸素貝葉斯的幼稚在於假設b特徵的每個值都是相互獨立的，所以樸素貝葉斯的公式是這樣的。

學習和分類演算法：

1）計算先驗概率和條件概率。

拉普拉斯平滑：

2）代入樣本向量得到不同的類別p，然後根據最大後驗概率取p最大的類別作為標籤類別。

樸素貝葉斯的優點是它適用於小尺度資料，適用於多種分類。 缺點是資料輸入的形式敏感，難以保證特徵值獨立性的影響。

vmap=arg max p( vj | a1,a2...an)

VJ 屬於 V 集。

其中 vmap 是給定示例中最有可能的目標值。

其中 A1....An 是此示例中的屬性。

其中，vmap的目標值是後面計算概率最高的值。 所以它用 max 表示。

貝葉斯公式應用於 p（ vj | a1,a2...乙個）。

vmap= arg 最大 p（a1，a2....an | vj ) p( vj ) / p (a1,a2...an)

而且由於樸素的貝葉斯分類器預設為 a1...。安東尼：他們是彼此獨立的。

所以 p（a1，a2....an） 對結果沒有用處。[因為所有的概率在除以同一件事情後都要比較，所以最終的結果似乎沒有太大的影響]。

vmap= arg 最大 p（a1，a2....an | vj ) p( vj )

然後，樸素貝葉斯分類器基於乙個簡單的假設：給定目標值，這些屬性在條件上彼此獨立。 換句話說。

這些假設說明了給定例項的目標值。 組合 a1、a2....的概率正是每個屬性的概率乘積：

p(a1,a2...an | vj ) =πi p( ai| vj )

樸素貝葉斯分類器： vnb = arg max p（ vj ） i p （ ai | vj )

vnb = arg max p ( vj )

這裡 vj （ yes |no），是相應天氣的示例。