抓取動態網頁產生的資料?

ghost · 发表于 2019-4-26 14:44:55

我想抓一個網頁上會變動的數字,
但是因為它是 node.js 產生,所以我 curl/wget 只能抓到 html、css 這些標籤,

"<span class="details">{{'@'}}{{ number }}</span>"

我要怎樣可以抓到頁面上那個 number 所帶進的數字?

ghost · 发表于 2019-4-30 14:01:08

後來用 websocket 取得特定欄位資料與透過一般網頁擷取資料兩種方式都試出來了.
websocket 是透過 jq 去抓指定的 json 資料欄位,然後再切斷連線.
不過試了以後,用 websocket + jq 取資料要超過 0.5 秒,有時甚至超過 1 秒,
抓取另一個網頁上的指定字串只要 0.2 秒以內.
所以就不用 websocket 的連線取得資料了

Mr. · 发表于 2019-4-26 14:46:59

直接抓它 ajax 的接口啊，数据哪来的、从哪里套上去的，直接抓那个数据

alfonse · 发表于 2019-4-26 14:48:36

1、一般这种是通过异步请求获取数据，分析接口直接抓取接口
2、通过无头浏览器模拟抓取元素

ghost · 发表于 2019-4-26 15:12:22

本帖最后由 ghost 于 2019-4-26 15:14 编辑

因為是要抓公開網頁上的資料,所以沒有它的 api,
所以想用指令或程式去處理,像爬蟲,但只是要爬頁面裡的一個 span class 裡的動態數字而已...

似毛非毛 · 发表于 2019-4-26 15:14:43

动态网页。最终也是静态显示的。你给个地址。别人看一下就知道怎么回答你了

ghost · 发表于 2019-4-26 15:17:22

本帖最后由 ghost 于 2019-4-26 15:18 编辑

https://ethstats.net/
我要抓左上角那個 block 裡 7 開頭的數字.

ronon · 发表于 2019-4-26 15:22:22

websocket

似毛非毛 · 发表于 2019-4-26 15:29:41

这类页面我还是第一次见。。。孤陋寡闻了。。

miniliuke · 发表于 2019-4-26 15:32:11

Selenium或PhantomJS

似毛非毛 · 发表于 2019-4-26 15:40:55

ronon 发表于 2019-4-26 15:22
websocket

膜拜大佬。。。这个页面好就是websocket通信的

用户名		自动登录	找回密码
密码			注册

[Windows VPS] 抓取動態網頁產生的資料?

点评

点评

浏览过的版块