如何在 Python 中編寫分布式爬蟲

618ip軟體具有IP和自動IP接入功能。

這是一堆計算機對抗一台計算機。

比如你用主機C抓取**S，S發現你抓取資料的速度太快，認為你沒有操作它，所以遮蔽了你的IP，你是不是很鬱悶？ 於是，分布式爬蟲開始發揮作用，我使用了 c1、c2、c3 ,......N臺計算機一起將資料爬到S臺，每台臺計算機接收乙個任務來降低爬網頻率，但是由於N臺計算機是並行爬網的，效率相當驚人，將它們爬回的資料組合起來是可以的。

分布式是一件好事。

再比如，如果主力想拉高股價，就必須有大量的資金，如果資金集中在一台電腦上，交易所就會記錄你的IP，以後ZJH就很容易找到你了。 然後主力當然會用分布式計算機拉動，將資金分散到n臺電腦上，然後分散到n個賬戶上，每個賬戶上的資金都低於zjh檢查你的紅線。 然後使用分布式程式集中控制n臺電腦和n個賬戶的資金聯動。

這樣一來，他們看到的就是n臺電腦上的n根韭菜，很難分辨它們是否在一起行動，只有主程式知道它們在共同行動。

我個人認為，對於新手來說，學習python用以下4個庫抓取網頁就足夠了：（第四個真的不行，當然，在某些特殊情況下可能做不到）。

2.解析網頁：熟悉jquery的人可以使用pyquery

3.使用請求提交各種型別的請求，支援重定向、cookie 等。

4.使用 Selenium，您可以在瀏覽器中模擬類似使用者的操作，並處理由 JS 動態生成的網頁。

這個庫和幾個庫都有自己的功能。 一起，它可以完成抓取各種網頁並對其進行分析的功能。 具體用法請參考其官方網站手冊（上面鏈結）。

做事就是要對狀態進行驅動，如果你沒有什麼特別的要抓，新手學習可以從這個級別開始**。

目前已經更新到第五級了，通過前四級後，應該已經掌握了這些庫的基本操作。

實在打不通，下面我們來看一下解決方法，第四關會用到並行程式設計固定。 （串列埠程式設計完成第四關會很費時），第四、第五關只是沒問題，解決方案還沒發布......

學完這些基礎知識，學習 scrapy 這個強大的爬蟲框架會比較流暢。 這是它的中文介紹。

：從爬蟲的基本需求來看：1

抓取 py 的 urllib 不一定非要用，但如果你還沒有用過它，你必須學習。 乙個好的選擇是第三方更使用者友好、更成熟的庫，比如 requests，如果 pyer 不知道各種庫，那麼它就沒用了。 抓取基本上是將頁面拉回。

如果你深入地去做，你會發現你想要。

“開始”是乙個很好的動力，但它可能很慢。 如果你手裡或腦子裡有乙個專案，那麼你就會在實踐中被目標所驅動，而不是像學習模組一樣慢慢學習。

另外，如果知識系統中的每個知識點都是圖中的乙個點，並且依賴關係是邊，那麼該圖一定不是有向無環圖。 因為學習A的經驗可以幫助你學習B。 因此，你不需要學習如何“開始”，因為沒有這樣的“開始”點！

你需要學習的是如何把東西做大，在這個過程中，你會很快學會你需要學習的東西。 當然，你可以爭辯說你首先需要了解python，否則你怎麼能學習python成為爬蟲呢？ 但其實你可以在做這個爬蟲的過程中學習python：

d 看到前面的很多回答都談到了“技術”——使用什麼軟體以及如何攀登，那麼我就談談“Tao”和“技術”——爬蟲是如何工作的，以及如何在 python 中實現它們。

讓我們長話短說，總結一下：

你需要學習。

爬蟲的基本工作原理。

基本HTTP抓取工具，Scrapy

bloom filter: bloom filters by example

如果需要大規模抓取網頁，就需要學習分布式爬蟲的概念。 這並不神秘，你只需要學習如何維護乙個可以被所有集群機器有效共享的分布式佇列。 最簡單的實現是：

RQ 和 Scrapy 的組合：Darkrho Scrapy-Redis · github的

後處理、網頁提取（grangier python-goose · github）、儲存（mongodb）。

王家得知真相後，還指責石蓉心狠手辣，冤枉，把胡家留在府裡，像姐妹一樣。 胡家的不確定先知讓石蓉起了疑心。