python爬虫是干嘛的 Python爬虫入门案例教学：批量爬取彼岸桌面4K超清美女壁纸

先图片开路

文章插图

文章插图
环境介绍

python 3.6 / 3.8
pycharm 编辑器
requests
parsel
os 文件操作
在cmd里面就可以进行安装 pip install requests

无论是爬取那个网站什么数据都是可以按照这个流程去分析一. 数据来源分析1. 确定爬取的东西?网址: 彼岸壁纸
网站数据: 壁纸图片
2. 壁纸图片数据是来自于哪里通过浏览器上面开发者工具(F12/鼠标右键点击检查选择network)进行抓包分析
I. 需要所有图片的 ID
II. 获取图片ID之后, 才请求图片详情页url地址
III. 获取图片地址以及图片标题
如果你不知道数据来源, 就没法进行爬取

文章插图
点这里，跳转B站即可免费在线观看二. 代码实现的过程: 确定需求(查询数据来源分析) >>> 发送请求 >>> 获取数据 >>> 解析数据 >>> 保存数据

发送请求对于图片列表页发送请求
获取数据获取网页源代码
解析数据提取图片ID
发送请求把获取到的图片ID 出入图片详情页url中
解析数据提取图片地址以及图片标题
保存数据
多页爬取

1. 发送请求对于图片列表页发送请求url = f'http://www.netbian.com/meinv/index_{page}.htm'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'}response = requests.get(url=url, headers=headers)<Response [200]> <> python里面表示的是对象返回的是response对象(响应体对象)
200 状态码表示请求成功
2. 获取数据获取网页源代码 >>>> 获取响应体的文本数据(字符串类型)# 它给返回的数据出现了乱码 >>> 转码response.encoding = response.apparent_encoding # 自动识别编码print(response.text) # html字符串数据3. 解析数据提取图片ID 解析数据方式: re正则正则表达式 css选择器 xpathre正则正则表达式可以对于字符串数据内容直接提取
css选择器 xpath 都是根据标签属性内容提取数据
img_ids = re.findall('<li><a href="https://tazarkount.com/desk/(/d+).htm" title', response.text)# 正则表达式匹配出来的数据内容返回的是列表列表里面每一个元素都是图片idfor img_id in img_ids:# 构建壁纸详情页的url地址# 字符串格式化方法 format()link_url = f'http://www.netbian.com/desk/{img_id}-1920x1080.htm'print(link_url)4. 发送请求把获取到的图片ID 出入图片详情页url中response_1 = requests.get(url=link_url, headers=headers)selector = parsel.Selector(response_1.text)5. 解析数据提取图片地址以及图片标题img_url = selector.css('#endimg img::attr(src)').get()title = selector.css('#endimg img::attr(title)').get()print(response_1.text)6. 保存数据img_content = requests.get(url=img_url, headers=headers).contentwith open('img\\' + title + '.jpg', mode='wb') as f:f.write(img_content)print(title, img_url)7 .翻页爬取for page in range(2, 11):print(f'正在爬取第{page}页的数据内容') Python从零基础入门到实战系统教程、源码、视频，想要数据集的同学也可以点这里
最后运行完整代码

文章插图
【python爬虫是干嘛的 Python爬虫入门案例教学：批量爬取彼岸桌面4K超清美女壁纸】

文章插图