1. 千鋒教育-做有情懷、有良心、有品質的職業教育機構

      掃碼關注千鋒教育
      送程序員必讀書籍

      當前位置:首頁  >  關于學院  >  技術論壇  >  正文

      Python開發技巧|scrapy-redis爬蟲如何發送POST請求

      時間:2021-03-24 09:02     來源:千鋒教育 作者:小千
      分享: 更多

            同學們在使用scrapy-redis分布式爬蟲框架開發的時候會發現,其默認只能發送GET請求,不能直接發送POST請求,這就導致我們在開發一些爬蟲工具的時候出現問題,那么如何才能讓scrapy-redis發送POST請求呢?

            scrapy-redis爬蟲

            這里我們以美團網站為例,

            先來說一說需求,也就是說美團POST請求形式。我們以獲取某個地理坐標下,所有店鋪類別列表請求為例。獲取所有店鋪類別列表時,我們需要構造一個包含位置坐標經緯度等信息的表單數據,以及為了向下一層parse方法傳遞的一些必要數據,即meta,然后發起一個POST請求。

            url,請求地址,即url是固定的,如下所示:

            url = 'http://i.waimai.meituan.com/openh5/poi/filterconditions?_=1557367197922'

            url最后面的13位數字是時間戳,實際應用時用time模塊生成一下就好了。

            表單數據:

      1

            meta數據:

            meta數據不是必須的,但是,如果你在發送請求時,有一些數據需要向下一層parse方法(解析爬蟲返回的response的方法)中傳遞的話,就可以構造這一數據,然后作為參數傳遞進request中。

      2

            源碼分析

            采集店鋪類別列表時需要發送怎樣一個POST請求在上面已經說明了,那么,在scrapy-redis框架中,這個POST該如何來發送呢?我相信,打開我這篇博文的讀者都是用過scrapy的,用scrapy發送POST肯定沒問題(重寫start_requests方法即可),但scrapy-redis不同,scrapy-redis框架只會從配置好的redis數據庫中讀取起始url,所以,在scrapy-redis中,就算重寫start_requests方法也沒用。怎么辦呢?我們看看源碼。

            我們知道,scrapy-redis與scrapy的一個很大區別就是,scrapy-redis不再繼承Spider類,而是繼承RedisSpider類的,所以,RedisSpider類源碼將是我們分析的重點,我們打開RedisSpider類,看看有沒有類似于scrapy框架中的start_requests、make_requests_from_url這樣的方法。RedisSpider源碼如下:

      3

            很遺憾,在RedisSpider類中沒有找到類似start_requests、make_requests_from_url這樣的方法,而且,RedisSpider的源碼也太少了吧,不過,從第一行我們可以發現RedisSpider繼承了RedisMinxin這個類,所以我猜RedisSpider的很多功能是從父類繼承而來的(拼爹的RedisSpider)。繼續查看RedisMinxin類源碼。RedisMinxin類源碼太多,這里就不將所有源碼貼出來了,不過,驚喜的是,在RedisMinxin中,真找到了類似于start_requests、make_requests_from_url這樣的方法,如:start_requests、next_requests、make_request_from_data等。有過scrapy使用經驗的童鞋應該都知道,start_requests方法可以說是構造一切請求的起源,沒分析scrapy-redis源碼之前,誰也不知道scrapy-redis是不是和scrapy一樣(后面打斷點的方式驗證過,確實一樣,話說這個驗證有點多余,因為源碼注釋就是這么說的),不過,還是從start_requests開始分析吧。start_requests源碼如下:

      4

            直接把所有任務丟給next_requests方法,繼續:

      5

            上面next_requests方法中,關鍵的就是那個while循環,每一次循環都調用了一個make_request_from_data方法,從函數名可以函數,這個方法就是根據從redis中讀取從來的數據,實例化一個request,那不就是我們要找的方法嗎?進入make_request_from_data方法一探究竟:

      6

            因為scrapy-redis默認值發送GET請求,所以,在這個make_request_from_data方法中認為data只包含一個url,但如果我們要發送POST請求,這個data包含的東西可就多了,我們上面美團POST請求說明中就說到,至少要包含url、form_data。所以,如果我們要發送POST請求,這里必須改,make_request_from_data方法最后調用的make_requests_from_url是scrapy中的Spider中的方法,不過,我們也不需要繼續往下看下去了,我想諸位都也清楚了,要發送POST請求,重寫這個make_request_from_data方法,根據傳入的data,實例化一個request返回就好了。

            代碼實例

            明白上面這些東西后,就可以開始寫代碼了。修改源碼嗎?不,不存在的,改源碼可不是好習慣。我們直接在我們自己的Spider類中重寫make_request_from_data方法就好了:

      7

            搞清楚原理之后,就是這么簡單。萬事俱備,只欠東風——將url,form_data,meta存儲到redis中。另外新建一個模塊實現這一部分功能:

      8

            在啟動scrapy-redis之前,運行一下這一模塊即可。如果有很多POI(地理位置興趣點),循環遍歷每一個POI,生成request_data,push到redis中。

            最后同學們學習Python,可以參考千鋒Python培訓班推出的Python開發學習路線,結合千鋒Python培訓機構名師精心錄制的全套Python視頻教程,可以讓你對學習Python需要掌握的知識有個清晰的了解,并快速入門Python開發。千鋒Python培訓機構視頻教程分為三個大塊:Python基礎視頻教程、Python高級視頻教程、Python高手晉級視頻教程。視頻講解通俗易懂,入門Python開發僅用此套視頻足矣。想要獲取免費Python學習路線和學習資料可以添加我們的Python技術交流qq群:790693323  加群找群管理領取即可,Python相關技術問題也可以加群解決,等你來哦~~~~

      相關文章

      • 北京總部地址:北京市海淀區寶盛北里西區28號中關村智誠科創大廈4層
        北京沙河校區:北京市昌平區沙陽路18號北京科技職業技術學院廣場服務樓
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、Linux云計算+網絡安全培訓、互聯網營銷培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 深圳校區地址:深圳市寶安區寶安大道5010號西部硅谷B座A區6層A605/B座C區1層108
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、Linux云計算+網絡安全培訓、互聯網營銷培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 上海校區地址:上海市寶山區同濟支路199號智慧七立方3號樓2-4層
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、Linux云計算+網絡安全培訓、互聯網營銷培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 廣州校區地址:廣州市白云區永泰學山塘街79號學山文化創意谷A1棟六樓
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、云計算培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 鄭州二七區校區地址:鄭州市二七區航海中路60號海為科技園C區10層
        鄭州高新區校區地址:鄭州市高新區金梭路與銀杏路交叉口教育科技產業園南門D座4層
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、云計算培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 大連校區地址:遼寧省大連市高新園區愛賢街10號大連設計城A座901
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、云計算培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 武漢金融港校區地址:武漢市東新區光谷大道77號金融港B18棟三樓
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、云計算培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 成都校區地址:成都市高新區肖家河沿街138號肖家河大廈三樓
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、云計算培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 西安校區地址:西安市雁塔區高新六路52號立人科技C座西區4樓
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、云計算培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 杭州旺田校區:浙江省杭州市江干區九堡旺田書畫城A座4層
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、云計算培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 青島校區地址:青島市市北區龍城路31號卓越世紀中心4號樓5層
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、云計算培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 重慶校區地址:重慶市高新區科園一路2號大西洋國際12-1
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、云計算培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 長沙校區地址:湖南省長沙市岳麓區麓谷企業廣場A2棟三單元306號
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、云計算培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 哈爾濱校區地址:哈爾濱市松北區世澤路689號 科技創新城4號樓1101
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、云計算培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 南京校區地址:南京市建鄴區應天大街780號弘輝產業園1棟2層
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、云計算培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 太原校區地址:太原市小店區長治路230號能源互聯網大廈6層
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、云計算培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 沈陽校區地址:遼寧省沈陽市渾南區世紀路16號東大軟件園B園B1座A201
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、云計算培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 合肥校區地址:合肥市包河區徽州大道396號東方廣場B座12A
        咨詢電話:400-811-9990
        面授課程:HTML5大前端培訓、JavaEE+分布式開發培訓、Python全棧+人工智能培訓、全鏈路UI/UE設計培訓、云計算培訓、全棧軟件測試培訓、大數據+人工智能培訓、智能物聯網+嵌入式培訓、Unity游戲開發培訓、Go語言開發培訓、PHP全棧+服務器集群培訓、網絡安全培訓、互聯網營銷培訓、好程序員
        認證課程:軟考、Adobe認證、PMP認證、紅帽RHCE認證
      • 千鋒教育服務號

        了解千鋒動態
        關注千鋒教育服務號

      • 千鋒教育移動站

        掃一掃快速進入
        千鋒移動端頁面

      • 千鋒互聯服務號

        掃碼匿名提建議
        直達CEO信箱

      [an error occurred while processing the directive] 大尺度床性视频带叫床,顶级少妇无码AV,男女上下抽搐GIF动态图,怡春院