有老哥能爬豆瓣电影吗？

爬虫部落 · 发表于 2020-4-12 22:11:44

我这里有目前应该是最全的豆瓣电影id信息，需要的话pm价格。合适的话会考虑出

yswei · 发表于 2020-4-12 22:37:16

爬虫部落发表于 2020-4-12 22:11
我这里有目前应该是最全的豆瓣电影id信息，需要的话pm价格。合适的话会考虑出 ...

ID我也有，不过没什么用，需要分类的。

爬虫部落 · 发表于 2020-4-12 22:41:40

yswei 发表于 2020-4-12 22:37
ID我也有，不过没什么用，需要分类的。

价格到了，什么都有

如果你id够全直接去抓内容就行

翻车的老司机 · 发表于 2020-4-12 22:53:00

用家宽拨号爬最好，爬一会封ip了再拨号换ip爬

SFA · 发表于 2020-4-12 22:53:11

豆瓣有api，不过有限制请求频率

张大牛 · 发表于 2020-4-12 23:27:24

同求一份，大佬代价pm吧

yswei · 发表于 2020-4-12 23:34:52

爬虫部落发表于 2020-4-12 22:41
价格到了，什么都有

如果你id够全直接去抓内容就行

不知道怎么获取分类

爬虫部落 · 发表于 2020-4-12 23:37:56

yswei 发表于 2020-4-12 23:34
不知道怎么获取分类

我的数据好像除了短评其他字段都抓了，要是价格合适可以考虑出，或者根据你提供的id抓取需要的字段

yswei · 发表于 2020-4-12 23:39:04

爬虫部落发表于 2020-4-12 23:37
我的数据好像除了短评其他字段都抓了，要是价格合适可以考虑出，或者根据你提供的id抓取需要的字段 ...

怎么判断是电影电视剧综艺还是动漫呢？

爬虫部落 · 发表于 2020-4-12 23:41:05

yswei 发表于 2020-4-12 23:39
怎么判断是电影电视剧综艺还是动漫呢？

明天回去看看代码，我记得电影电视是一级分类，还有具体所属类型的二级分类。

[Windows VPS] 有老哥能爬豆瓣电影吗？