tumler爬虫，爬取图片和小视频

眷恋神仙的笑 · 发表于 2018-8-17 02:29:51

修改自大佬的脚本，大佬好久不更新只能自己改了
原脚本由于api显示每个username只能爬第一页图片，修改为爬取所有图片
修改获取照片尺寸由520变为1280
增加超时检测，tumbler国内访问容易超时卡死
默认为30s，网络环境好可在34行减少数值，反之亦然
修改只获取图片，小视频质量一般哈，有需求去爬视频网站好了
需要获取小视频在16行删除type=photo&即可
没有验证结束，出现报错即完成

Python tumblr.py username

github.com/iamumr/tumblr_spider

自行加前缀咯，等级不够不能发网址

半潜军长 · 发表于 2018-8-17 03:24:27

要91 jav 什么时候放要支持爬取存gd onedrive

甜党 · 发表于 2018-8-17 03:30:54

mark

openos · 发表于 2018-8-17 03:32:59

先收藏一下............

眷恋神仙的笑 · 发表于 2018-8-17 03:39:45

半潜军长发表于 2018-8-17 03:24
要91 jav 什么时候放要支持爬取存gd onedrive

91 jav有时间研究研究，网盘去看看有没有API，有API的话还是好写的。毕竟没有无线容量的我没怎么用过。

半潜军长 · 发表于 2018-8-17 03:52:51

眷恋神仙的笑发表于 2018-8-17 03:39
91 jav有时间研究研究，网盘去看看有没有API，有API的话还是好写的。毕竟没有无线容量的我没怎么用过。 ...

gd onedrive 用第三方挂载本地了主要是考虑怎么分断上传因为没大盘鸡所以就得要指定下载
就相当是假如我先爬n业数据 python爬完指定执行下指定的命令 copy move 都可以

cszlxl · 发表于 2018-8-17 07:53:15

收藏了。谢谢了。

X1BE · 发表于 2018-8-17 10:58:38

提示: 作者被禁止或删除内容自动屏蔽

眷恋神仙的笑 · 发表于 2018-8-17 12:26:56

半潜军长发表于 2018-8-17 03:52
gd onedrive 用第三方挂载本地了主要是考虑怎么分断上传因为没大盘鸡所以就得要指定下载
就相当是 ...

已经挂载本地了好解决，几个循环移动一次就好了，没用过不知道网盘挂载本地是不是和对象储存挂载本地一样，挂载本地就和本地储存完全没区别，如果是的话，更改下载路径，直接下载到网盘里去就好了。

融雪深秋 · 发表于 2018-8-17 12:30:05

马克一下，感谢大佬

		自动登录	找回密码
密码			注册

X1BE X1BE 当前离线积分 17448	发表于 2018-8-17 10:58:38 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
X1BE X1BE 当前离线积分 17448
	回复支持反对举报