新！电子社开放书库【附大佬们给出的昨日二社爬取方案】

uuh · 发表于 2020-2-2 12:27:11

mark

bbsbbs · 发表于 2020-2-2 12:28:21

mark一下，期待大佬放出google drive链接

万人迷 · 发表于 2020-2-2 12:34:45

强大的一群人类

why? · 发表于 2020-2-2 12:49:11

本帖最后由 why? 于 2020-2-2 13:16 编辑

使用方法
安装python3
pip3 install --upgrade setuptools
pip3 install -r requirements.txt
python3 crawl_wqxt.py 书本id

爬的有的慢

国外jj 爬着可能会time out 还是国内按需下载吧

qingseyouran · 发表于 2020-2-2 12:52:52

是不是我使用得不对
运行脚本IndexError: list index out of range
在程序中也不清楚入口在那，是要手动改key？

why? · 发表于 2020-2-2 12:55:12

qingseyouran 发表于 2020-2-2 12:52
是不是我使用得不对
运行脚本IndexError: list index out of range
在程序中也不清楚入口在那，是要手动改k ...

要输入书本id 不是整站爬到

qingseyouran · 发表于 2020-2-2 13:30:56

why? 发表于 2020-2-2 12:55
要输入书本id 不是整站爬到

非常感谢，终于可以了！

lossB · 发表于 2020-2-2 13:31:42

提示: 作者被禁止或删除内容自动屏蔽

ning · 发表于 2020-2-2 13:42:02

MARK&等待大佬放出网盘链接

b66667777 · 发表于 2020-2-2 13:54:58

mark jj

		自动登录	找回密码
密码			注册

lossB lossB 当前离线积分 2823	发表于 2020-2-2 13:31:42 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
lossB lossB 当前离线积分 2823
	回复举报