爬个数据就挂掉一个网站-Web技术-全球主机交流论坛 - 手机版

爬个数据就挂掉一个网站看全部

1^# 三一土白
收藏 2018-1-14 00:17:04

我一直使用python的requests爬取数据,有个网站的数据单线程,5分钟可以爬完.

刚才用了nodejs的request库, 从启动任务到结束10秒钟结束,以为自己眼瞎, 但是数据确实下载成功了.
然后那个网站离线了.

从来不知道nodejs这么牛叉.

来自 21# 三一土白
2018-1-14 09:55:48

数据都入库了，没报错，10秒钟，42万行数据。

nodejs的异步第一次领略，确实很牛逼。

推荐 jhsyue
2018-1-15 11:28:27

python写得慢是你技术有问题。。

https://luodaoyi.com/p/python-yi-bu-duo-xian-cheng-chao-gao-xing-neng-pa.html

推荐 cszlxl
2018-1-14 08:12:49

应该不会是完全都爬完了吧。。。

推荐 yjsx86
2018-1-14 04:54:13

不会那么巧等你把数据爬完了再挂吧?
看看你的数据完整不?

2^# jarvan
2018-1-14 00:18:51

不太懂爬虫，能科普下吗，主要爬去什么数据?

3^# wfion 该用户已被删除

2018-1-14 00:19:17

提示: 作者被禁止或删除内容自动屏蔽

4^# 风铃

2018-1-14 00:20:02

这说明
python垃圾, js牛逼

5^# 三一土白

2018-1-14 00:20:15

引用: jarvan 发表于 2018-1-14 00:18
不太懂爬虫，能科普下吗，主要爬去什么数据?

彩票历史开奖数据,

用途:反正不是买彩票

回复

爬个数据就挂掉一个网站 看全部

爬个数据就挂掉一个网站看全部