Py

hdwan.net

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import os
   
4. import time
   
5. 
   
6. 
   
7. class Spider:
   
8.     def __init__(self, base_url):
   
9.         self.base_url = base_url
   
10. 
    
11.     def run(self):
    
12.         for i in range(1, 10000):
    
13.             url = '{}/{}'.format(base_url, i)
    
14.             html = self.request(url)
    
15.             if html:
    
16.                 self.parse_html(html, url)
    
17.                 time.sleep(1)
    
18.             else:
    
19.                 time.sleep(0.5)
    
20. 
    
21.     def parse_html(self, html, href):
    
22.         title = BeautifulSoup(html.text, 'lxml').find('h2', class_='main-title').text
    
23.         print('开始保存：{}'.format(title))
    
24.         path = str(title)
    
25.         self.mkdir(path)
    
26.         max_span = BeautifulSoup(html.text, 'lxml').find('div', class_='pagenavi').find_all('span')[-2].text
    
27.         for page in range(1, int(max_span) + 1):
    
28.             if page == 1:
    
29.                 page_url = href
    
30.             else:
    
31.                 page_url = '{}/{}'.format(href, str(page))
    
32.             self.parse_img(page_url, img_name=page)
    
33. 
    
34.     def parse_img(self, page_url, img_name):
    
35.         img_html = self.request(page_url)
    
36.         img_url = BeautifulSoup(img_html.text, 'lxml').find('div', class_='main-image').find('img')['src']
    
37.         self.save_img(img_url, img_name)
    
38. 
    
39.     def save_img(self, img_url, img_name):
    
40.         img = self.request(img_url)
    
41.         with open('{}.jpg'.format(img_name), 'ab') as f:
    
42.             f.write(img.content)
    
43. 
    
44.     def request(self, url):
    
45.         headers = {
    
46.             'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64)"
    
47.                           " AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
    
48.         }
    
49.         content = requests.get(url, headers=headers, allow_redirects=False)
    
50.         if content.status_code != 200:
    
51.             return False
    
52.         else:
    
53.             return content
    
54. 
    
55.     def mkdir(self, path):  # 这个函数创建文件夹
    
56.         path = path.strip()
    
57.         isExists = os.path.exists(os.path.join("D:\mzitu", path))
    
58.         if not isExists:
    
59.             print(u'创建', path, u'文件夹')
    
60.             os.makedirs(os.path.join("D:\MZITU", path))
    
61.             os.chdir(os.path.join("D:\mzitu", path))  # 切换到目录
    
62.             return True
    
63.         else:
    
64.             print(u'名字叫做', path, u'的文件夹已经存在了')
    
65.             return False
    
66. 
    
67. if __name__ == '__main__':
    
68.     base_url = 'http://www.mzitu.com'
    
69.     spider = Spider(base_url)
    
70.     spider.run()

复制代码

大猫

大佬 这个是干啥的

tufu001

不明觉厉

janstk

k抓黄图的？yc010t

uuit

python扒图的代码？没学习过python，只能用JS的眼光去看

小妹妹来吃鸡吧

扒 http://www.mzitu.com上的图片的

爱纯粹

base_url = 'http://www.mzitu.com'

poropro

PY交易么

phpy

不错不错