scrapy 2.3 按BFO順序爬行

2021-06-16 11:38 更新

Scrapy crawls in DFO order by default .

然而，在廣泛的爬行中，頁面爬行往往比頁面處理更快。因此，未處理的早期請求將保留在內存中，直到達到最終深度，這可以顯著增加內存使用量。

Crawl in BFO order 而是保存內存。

以上內容是否對您有幫助：
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號