scrapy 2.3 預(yù)渲染JavaScript

在從其他請求中獲取數(shù)據(jù)的網(wǎng)頁上，復(fù)制包含所需數(shù)據(jù)的請求是首選方法。這項工作通常是值得的：結(jié)構(gòu)化的、完整的數(shù)據(jù)，最少的解析時間和網(wǎng)絡(luò)傳輸。

然而，有時很難重現(xiàn)某些請求?；蛘吣憧赡苄枰恍]有請求可以提供給你的東西，比如網(wǎng)頁的屏幕截圖，就像在網(wǎng)頁瀏覽器中看到的那樣。

在這些情況下，使用 Splash JavaScript呈現(xiàn)服務(wù)，以及 scrapy-splash 實(shí)現(xiàn)無縫集成。

splash返回為html DOM 一個網(wǎng)頁，這樣你就可以用 selectors . 它通過 configuration 或 scripting.

如果您需要Splash提供的以外的東西，例如從python代碼即時與DOM交互而不是使用以前編寫的腳本，或者處理多個Web瀏覽器窗口，您可能需要 use a headless browser 相反。