scrapy 2.3 存儲URI參數(shù)

2021-06-09 09:24 更新

存儲URI還可以包含在創(chuàng)建源時被替換的參數(shù)。這些參數(shù)是:

  • ?%(time)s? -在創(chuàng)建源時被時間戳替換
  • ?%(name)s? -替換為蜘蛛名稱

任何其他命名參數(shù)都將被同名的spider屬性替換。例如, ?%(site_id)s? 將被替換為 ?spider.site_id? 屬性為正在創(chuàng)建源的時刻。

下面舉例說明:

  • 使用每個spider一個目錄存儲在ftp中:
  • ftp://user:password@ftp.example.com/scraping/feeds/%(name)s/%(time)s.json
  • 使用每個spider一個目錄存儲在S3中:
  • ?s3://mybucket/scraping/feeds/%(name)s/%(time)s.json?

以上內(nèi)容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號