一小时入门 Python 3 网络爬虫
声明：本文讲解的实战内容，均仅用于学习交流，请勿用于任何商业用途！
一、前言
强烈建议：请在电脑的陪同下，阅读本文。本文以实战为主，阅读过程如稍有不适，还望多加练习。
本文的实战内容有：
网络小说下载（静态网站）
优美壁纸下载（动态网站）
爱奇艺VIP视频下载
二、网络爬虫简介
网络爬虫，也叫网络蜘蛛（Web Spider）。它根据网页地址（URL）爬取网页内容，而网页地址（URL）就是我们在浏览器中输入的网站链接。比如：https://www.baidu.com/，它就是一个URL。
在讲解爬虫内容之前，我们需要先学习一项写爬虫的必备技能：审查元素（如果已掌握，可跳过此部分内容）。
1. 审查元素
在浏览器的地址栏输入URL地址，在网页处右键单击，找到检查，如下图所示：（不同浏览器的叫法不同，Chrome浏览器叫做检查，Firefox浏览器叫做查看元素，但是功能都是相同的）
我们可以看到，右侧出现了一大推代码，这些代码就叫做HTML。什么是HTML？举个容易理解的例子：我们的基因决定了我们的原始容貌，服务器返回的HTML决定了网站的原始容貌。
为啥说是原始容貌呢？因为人可以整容啊！扎心了，有木有？那网站也可以"整容"吗？可以！请看下图：
我能有这么多钱吗？显然不可能。我是怎么给网站"整容"的呢？就是通过修改服务器返回的HTML信息。我们每个人都是"整容大师"，可以修改页面信息。我们在页面的哪个位置点击审查元素，浏览器就会为我们定位到相应的HTML位置，进而就可以在本地更改HTML信息。
再举个小例子：我们都知道，使用浏览器"记住密码"的功能，密码会变成一堆小黑点，是不可见的。可以让密码显示出来吗？可以，只需给页面"动个小手术"！以淘宝为例，在输入密码框处右键，点击检查。
可以看到，浏览器为我们自动定位到了相应的HTML位置。将下图中的password属性值改为text属性值（直接在右侧代码处修改）：
就这样，浏览器"记住的密码"显现出来了：
说这么多，什么意思呢？浏览器就是作为客户端从服务器端获取信息，然后将信息解析，并展示给我们的。我们可以在本地修改HTML信息，为网页"整容"，但是我们修改的信息不会回传到服务器，服务器存储的HTML信息不会改变。刷新一下界面，页面还会回到原本的样子。这就跟人整容一样，我们能改变一些表面的东西，但是不能改变我们的基因。
2. 简单实例
网络爬虫的第一步就是根据URL，获取网页的HTML信息。在Python3中，可以使用urllib.request和requests进行网页爬取。
urllib库是python内置的，无需我们额外安装，只要安装了Python就可以使用这个库。
requests库是第三方库，需要我们自己安装。
requests库强大好用，所以本文使用requests库获取网页的HTML信息。requests库的github地址：https://github.com/requests/requests
（1）requests安装
在学习使用requests库之前，我们需要在电脑中安装好requests库。在cmd中，使用如下指令安装requests库：
pip install requests
easy_install requests
使用pip和easy_install都可以安装，二选一即可。
（2）简单实例
安装好requests库之后，我们先来大体浏览一下requests库的基础方法：
官方中文教程地址：http://docs.python-requests.org/zh_CN/latest/user/quickstart.html
requests库的开发者为我们提供了详细的中文教程，查询起来很方便。本文不会对其所有内容进行讲解，摘取其部分使用到的内容，进行实战说明。
首先，让我们看下requests.get()方法，它用于向服务器发起GET请求，不了解GET请求没有关系。我们可以这样理解：get的中文意思是得到、抓住，那这个requests.get()方法就是从服务器得到、抓住数据，也就是获取数据。让我们看一个例子(以 www.gitbook.cn? 为例)来加深理解：
# -*- coding:UTF-8 -*-
import requests
if __name__=='__main__':
target='http://gitbook.cn/'
req=requests.get(url=target)
print(req.text)
requests.get()方法必须设置的一个参数就是url，因为我们得告诉GET请求，我们的目标是谁，我们要获取谁的信息。我们将GET请求获得的响应内容存放到req变量中，然后使用req.text就可以获得HTML信息了。运行结果如下：
左侧是我们程序获得的结果，右侧是我们在www.gitbook.cn? 网站审查元素获得的信息。我们可以看到，我们已经顺利获得了该网页的HTML信息。这就是一个最简单的爬虫实例，可能你会问，我只是爬取了这个网页的HTML信息，有什么用呢？客官稍安勿躁，接下来进入我们的实战正文。
三、爬虫实战
实战内容由简单到复杂，难度逐渐增加，但均属于入门级难度。下面开始我们的第一个实战内容：网络小说下载。
1. 小说下载
（1）实战背景
小说网站《笔趣看》URL：http://www.biqukan.com/
《笔趣看》是一个盗版小说网站，这里有很多起点中文网的小说，该网站小说的更新速度稍滞后于起点中文网正版小说的更新速度。并且该网站只支持在线浏览，不支持小说打包下载。因此，本次实战就是从该网站爬取并保存一本名为《一念永恒》的小说，该小说是耳根正在连载中的一部玄幻小说。PS：本实例仅为交流学习，支持耳根大大，请上起点中文网订阅。
（2）小试牛刀
我们先看下《一念永恒》小说的第一章内容，URL：http://www.biqukan.com/1_1094/5403177.html
用已经学到的知识获取HTML信息试一试，编写代码如下：
# -*- coding:UTF-8 -*-
import requests
if __name__=='__main__':
target='http://www.biqukan.com/1_1094/5403177.html'
req=requests.get(url=target)
print(req.text)
运行代码，可以看到如下结果：
可以看到，我们很轻松地获取了HTML信息。但是，很显然，很多信息是我们不想看到的，我们只想获得如右侧所示的正文内容，我们不关心那些看着眼晕的英文字母。如何把正文内容从这些众多的HTML信息中提取出来呢？这就是本小节实战的主要内容。
（3）Beautiful Soup
爬虫的第一步，获取整个网页的HTML信息，我们已经完成。接下来就是爬虫的第二步，解析HTML信息，提取我们感兴趣的内容。对于本小节的实战，我们感兴趣的内容就是文章的正文。提取的方法有很多，例如使用正则表达式、Xpath、Beautiful Soup等。对于初学者而言，最容易理解，并且使用简单的方法就是使用Beautiful Soup提取感兴趣内容。
Beautiful Soup的安装方法和requests一样，使用如下指令安装(也是二选一)：
pip install beautifulsoup4
easy_install beautifulsoup4
一个强大的第三方库，都会有一个详细的官方文档。我们很幸运，Beautiful Soup也是有中文的官方文档。URL：http://beautifulsoup.readthedocs.io/zh_CN/latest/
同理，我会根据实战需求，讲解Beautiful Soup库的部分使用方法，更详细的内容，请查看官方文档。
现在，我们使用已经掌握的审查元素方法，查看一下我们的目标页面，你会看到如下内容：
不难发现，文章的所有内容都放在了一个名为div的“东西下面”，这个"东西"就是html标签。HTML标签是HTML语言中最基本的单位，HTML标签是HTML最重要的组成部分。不理解，没关系，我们再举个简单的例子：一个女人的包包里，会有很多东西，她们会根据自己的习惯将自己的东西进行分类。镜子和口红这些会经常用到的东西，回归放到容易拿到的外侧口袋里。那些不经常用到，需要注意安全存放的证件会被放到不容易拿到的里侧口袋里。
html标签就像一个个“口袋”，每个“口袋”都有自己的特定功能，负责存放不同的内容。显然，上述例子中的div标签下存放了我们关心的正文内容。这个div标签是这样的：
细心的朋友可能已经发现，除了div字样外，还有id和class。id和class就是div标签的属性，content和showtxt是属性值，一个属性对应一个属性值。这东西有什么用？它是用来区分不同的div标签的，因为div标签可以有很多，我们怎么加以区分不同的div标签呢？就是通过不同的属性值。
仔细观察目标网站一番，我们会发现这样一个事实：class属性为showtxt的div标签，独一份！这个标签里面存放的内容，是我们关心的正文部分。
知道这个信息，我们就可以使用Beautiful Soup提取我们想要的内容了，编写代码如下：
# -*- coding:UTF-8 -*-
from bs4 import BeautifulSoup
import requests
if __name__=="__main__":
target='http://www.biqukan.com/1_1094/5403177.html'
req=requests.get(url=target)
html=req.text
bf=BeautifulSoup(html)
texts=bf.find_all('div', class_='showtxt')
print(texts)
在解析html之前，我们需要创建一个Beautiful Soup对象。BeautifulSoup函数里的参数就是我们已经获得的html信息。然后我们使用find_all方法，获得html信息中所有class属性为showtxt的div标签。find_all方法的第一个参数是获取的标签名，第二个参数class_是标签的属性，为什么不是class，而带了一个下划线呢？因为python中class是关键字，为了防止冲突，这里使用class_表示标签的class属性，class_后面跟着的showtxt就是属性值了。看下我们要匹配的标签格式：
这样对应的看一下，是不是就懂了？可能有人会问了，为什么不是find_all('div', id='content', class_='showtxt')?这样其实也是可以的，属性是作为查询时候的约束条件，添加一个class_='showtxt'条件，我们就已经能够准确匹配到我们想要的标签了，所以我们就不必再添加id这个属性了。运行代码查看我们匹配的结果：
我们可以看到，我们已经顺利匹配到我们关心的正文内容，但是还有一些我们不想要的东西。比如div标签名，br标签，以及各种空格。怎么去除这些东西呢？我们继续编写代码：
# -*- coding:UTF-8 -*-
from bs4 import BeautifulSoup
import requests
if __name__=="__main__":
target='http://www.biqukan.com/1_1094/5403177.html'
req=requests.get(url=target)
html=req.text
bf=BeautifulSoup(html)
texts=bf.find_all('div', class_='showtxt')
print(texts[0].text.replace('\xa0'*8,'\n\n'))
find_all匹配的返回的结果是一个列表。提取匹配结果后，使用text属性，提取文本内容，滤除br标签。随后使用replace方法，剔除空格，替换为回车进行分段。 在html中是用来表示空格的。replace('\xa0'*8,'\n\n')就是去掉下图的八个空格符号，并用回车代替：
程序运行结果如下：
可以看到，我们很自然的匹配到了所有正文内容，并进行了分段。我们已经顺利获得了一个章节的内容，要想下载正本小说，我们就要获取每个章节的链接。我们先分析下小说目录，URL：http://www.biqukan.com/1_1094/
通过审查元素，我们发现可以发现，这些章节都存放在了class属性为listmain的div标签下，选取部分html代码如下：
《一念永恒》最新章节列表
第1027章 第十道门
第1026章 绝伦道法！
第1025章 长生灯！
第1024章 一目晶渊
第1023章 通天道门
第1022章 四大凶兽！
第1021章 鳄首！
第1020章 一触即发！
第1019章 魁祖的气息！
第1018章 绝望的魁皇城
第1017章 我还是恨你！
第1016章 从来没有世界之门！
《一念永恒》正文卷
外传1 柯父。
外传2 楚玉嫣。
外传3 鹦鹉与皮冻。
第一章 他叫白小纯
第二章 火灶房
第三章 六句真言
第四章 炼灵
在分析之前，让我们先介绍一个概念：父节点、子节点、孙节点。
和
限定了
标签的开始和结束的位置，他们是成对出现的，有开始位置，就有结束位置。我们可以看到，在
标签包含
标签，那这个
标签就是
标签的子节点，
标签又包含标签和
标签，那么
标签和
标签就是
标签的孙节点。有点绕？那你记住这句话：谁包含谁，谁就是谁儿子！
他们之间的关系都是相对的。比如对于
标签，它的子节点是标签，它的父节点是
标签。这跟我们人是一样的，上有老下有小。
看到这里可能有人会问，这有好多
标签和标签啊！不同的
标签，它们是什么关系啊？显然，兄弟姐妹喽！我们称它们为兄弟结点。
好了，概念明确清楚，接下来，让我们分析一下问题。我们看到每个章节的名字存放在了标签里面。标签还有一个href属性。这里就不得不提一下标签的定义了，标签定义了一个超链接，用于从一张页面链接到另一张页面。标签最重要的属性是 href 属性，它指示链接的目标。
我们将之前获得的第一章节的URL和标签对比看一下：
http://www.biqukan.com/1_1094/5403177.html
第一章 他叫白小纯
不难发现，标签中href属性存放的属性值/1_1094/5403177.html是章节URLhttp://www.biqukan.com/1_1094/5403177.html的后半部分。其他章节也是如此！那这样，我们就可以根据标签的href属性值获得每个章节的链接和名称了。
总结一下：小说每章的链接放在了class属性为listmain的
标签下的标签中。链接具体位置放在html->body->div->dl->dd->a的href属性中。先匹配class属性为listmain的
标签，再匹配标签。编写代码如下：
# -*- coding:UTF-8 -*-
from bs4 import BeautifulSoup
import requests
if __name__=="__main__":
target='http://www.biqukan.com/1_1094/'
req=requests.get(url=target)
html=req.text
div_bf=BeautifulSoup(html)
div=div_bf.find_all('div', class_='listmain')
print(div[0])
还是使用find_all方法，运行结果如下：
很顺利，接下来再匹配每一个标签，并提取章节名和章节文章。如果我们使用Beautiful Soup匹配到了下面这个标签，如何提取它的href属性和标签里存放的章节名呢？
第一章 他叫白小纯
方法很简单，对Beautiful Soup返回的匹配结果a，使用a.get('href')方法就能获取href的属性值，使用a.string就能获取章节名，编写代码如下：
# -*- coding:UTF-8 -*-
from bs4 import BeautifulSoup
import requests
if __name__=="__main__":
server='http://www.biqukan.com/'
target='http://www.biqukan.com/1_1094/'
req=requests.get(url=target)
html=req.text
div_bf=BeautifulSoup(html)
div=div_bf.find_all('div', class_='listmain')
a_bf=BeautifulSoup(str(div[0]))
a=a_bf.find_all('a')
for each in a:
print(each.string, server + each.get('href'))
因为find_all返回的是一个列表，里边存放了很多的标签，所以使用for循环遍历每个标签并打印出来，运行结果如下。
最上面匹配的一千多章的内容是最新更新的12章节的链接。这12章内容会和下面的重复，所以我们要滤除，除此之外，还有那3个外传，我们也不想要。这些都简单地剔除就好。
（3）整合代码
每个章节的链接、章节名、章节内容都有了。接下来就是整合代码，将获得内容写入文本文件存储就好了。编写代码如下：
# -*- coding:UTF-8 -*-
from bs4 import BeautifulSoup
import requests, sys
"""
类说明:下载《笔趣看》网小说《一念永恒》
Parameters:
无
Returns:
无
Modify:
2017-09-13
"""
class downloader(object):
def __init__(self):
self.server='http://www.biqukan.com/'
self.target='http://www.biqukan.com/1_1094/'
self.names=[] ? ? ? ? #存放章节名
self.urls=[] ? ? ? ? ?#存放章节链接
self.nums=0 ? ? ? ? ? #章节数
"""
函数说明:获取下载链接
Parameters:
无
Returns:
无
Modify:
2017-09-13
"""
def get_download_url(self):
req=requests.get(url=self.target)
html=req.text
div_bf=BeautifulSoup(html)
div=div_bf.find_all('div', class_='listmain')
a_bf=BeautifulSoup(str(div[0]))
a=a_bf.find_all('a')
self.nums=len(a[15:]) #剔除不必要的章节，并统计章节数
for each in a[15:]:
self.names.append(each.string)
self.urls.append(self.server + each.get('href'))
"""
函数说明:获取章节内容
Parameters:
target - 下载连接(string)
Returns:
texts - 章节内容(string)
Modify:
2017-09-13
"""
def get_contents(self, target):
req=requests.get(url=target)
html=req.text
bf=BeautifulSoup(html)
texts=bf.find_all('div', class_='showtxt')
texts=texts[0].text.replace('\xa0'*8,'\n\n')
return texts
"""
函数说明:将爬取的文章内容写入文件
Parameters:
name - 章节名称(string)
path - 当前路径下,小说保存名称(string)
text - 章节内容(string)
Returns:
无
Modify:
2017-09-13
"""
def writer(self, name, path, text):
write_flag=True
with open(path, 'a', encoding='utf-8') as f:
f.write(name + '\n')
f.writelines(text)
f.write('\n\n')
if __name__=="__main__":
dl=downloader()
dl.get_download_url()
print('《一年永恒》开始下载：')
for i in range(dl.nums):
dl.writer(dl.names[i], '一念永恒.txt', dl.get_contents(dl.urls[i]))
sys.stdout.write(" ?已下载:%.3f%%" % ?float(i/dl.nums) + '\r')
sys.stdout.flush()
print('《一年永恒》下载完成')
很简单的程序，单进程跑，没有开进程池。下载速度略慢，喝杯茶休息休息吧。代码运行效果如下图所示：
2. 优美壁纸下载
（1）实战背景
已经会爬取文字了，是不是感觉爬虫还是蛮好玩的呢？接下来，让我们进行一个进阶实战，了解一下反爬虫。URL：https://unsplash.com/
看一看这些优美的壁纸，这个网站的名字叫做Unsplash，免费高清壁纸分享网是一个坚持每天分享高清的摄影图片的站点，每天更新一张高质量的图片素材，全是生活中的景象作品，清新的生活气息图片可以作为桌面壁纸也可以应用于各种需要的环境。
看到这么优美的图片，我的第一反应就是想收藏一些，作为知乎文章的题图再好不过了。每张图片我都很喜欢，批量下载吧，不多爬，就下载50张好了。
（2）实战进阶
我们已经知道了每个html标签都有各自的功能。标签存放一下超链接，图片存放在哪个标签里呢？html规定，图片统统给我放到
标签中！既然这样，我们截取就Unsplash网站中的一个
need-to-insert-img
标签，分析一下：
need-to-insert-img
可以看到，
标签有很多属性，有alt、src、class、style属性，其中src属性存放的就是我们需要的图片保存地址，我们根据这个地址就可以进行图片的下载。
need-to-insert-img
那么，让我们先捋一捋这个过程：
使用requeusts获取整个网页的HTML信息；
使用Beautiful Soup解析HTML信息，找到所有
标签，提取src属性，获取图片存放地址；
need-to-insert-img
根据图片存放地址，下载图片。
我们信心满满地按照这个思路爬取Unsplash试一试，编写代码如下：
# -*- coding:UTF-8 -*-
import requests
if __name__=='__main__':
target='https://unsplash.com/'
req=requests.get(url=target)
print(req.text)
按照我们的设想，我们应该能找到很多
标签。但是我们发现，除了一些
need-to-insert-img
答案就是，这个网站的所有图片都是动态加载的！网站有静态网站和动态网站之分，上一个实战爬取的网站是静态网站，而这个网站是动态网站，动态加载有一部分的目的就是为了反爬虫。
对于什么是动态加载，你可以这样理解：
我们知道化妆术学的好，贼厉害，可以改变一个人的容貌。相应的，动态加载用的好，也贼厉害，可以改变一个网站的容貌。
动态网站使用动态加载常用的手段就是通过调用JavaScript来实现的。怎么实现JavaScript动态加载，我们不必深究，我们只要知道，动态加载的JavaScript脚本，就像化妆术需要用的化妆品，五花八门。有粉底、口红、睫毛膏等等，它们都有各自的用途。动态加载的JavaScript脚本也一样，一个动态加载的网站可能使用很多JavaScript脚本，我们只要找到负责动态加载图片的JavaScript脚本，不就找到我们需要的链接了吗？
对于初学者，我们不必看懂JavaScript执行的内容是什么，做了哪些事情，因为我们有强大的抓包工具，它自然会帮我们分析。这个强大的抓包工具就是Fiddler。URL：http://www.telerik.com/fiddler
PS：也可以使用浏览器自带的Networks，但是我更推荐这个软件，因为它操作起来更高效。
安装方法很简单，傻瓜式安装，一直下一步即可，对于经常使用电脑的人来说，应该没有任何难度。
这个软件的使用方法也很简单，打开软件，然后用浏览器打开我们的目标网站，以Unsplash为例，抓包结果如下：
我们可以看到，上图左侧红框处是我们的GET请求的地址，就是网站的URL，右下角是服务器返回的信息，我们可以看到，这些信息也是我们上一个程序获得的信息。这个不是我们需要的链接，我们继续往下看。
我们发现上图所示的就是一个JavaScript请求，看右下侧服务器返回的信息是一个json格式的数据。这里面，就有我们需要的内容。我们局部放大看一下：
这是Fiddler右侧的信息，上面是请求的Headers信息，包括这个Javascript的请求地 址：http://unsplash.com/napi/feeds/home，其他信息我们先不管，我们看看下面的内容。里面有很多图片的信息，包括图片的id，图片的大小，图片的链接，还有下一页的地址。这个脚本以json格式存储传输的数据，json格式是一种轻量级的数据交换格式，起到封装数据的作用，易于人阅读和编写，同时也易于机器解析和生成。这么多链接，可以看到图片的链接有很多，根据哪个链接下载图片呢？先别急，让我们继续分析：
在这个网站，我们可以按这个按钮进行图片下载。我们抓包分下下这个动作，看看发送了哪些请求。
https://unsplash.com/photos/1PrQ2mHW-Fo/download?force=true
https://unsplash.com/photos/JX7nDtafBcU/download?force=true
https://unsplash.com/photos/HCVbP3zqX4k/download?force=true
通过Fiddler抓包，我们发现，点击不同图片的下载按钮，GET请求的地址都是不同的。但是它们很有规律，就是中间有一段代码是不一样的，其他地方都一样。中间那段代码是不是很熟悉？没错，它就是我们之前抓包分析得到json数据中的照片的id。我们只要解析出每个照片的id，就可以获得图片下载的请求地址，然后根据这个请求地址，我们就可以下载图片了。那么，现在的首要任务就是解析json数据了。
json格式的数据也是分层的。可以看到next_page里存放的是下一页的请求地址，很显然Unsplash下一页的内容，也是动态加载的。在photos下面的id里，存放着图片的id，这个就是我们需要获得的图片id号。
怎么编程提取这些json数据呢？我们也是分步完成：
获取整个json数据
解析json数据
编写代码，尝试获取json数据：
# -*- coding:UTF-8 -*-
import requests
if __name__=='__main__':
target='http://unsplash.com/napi/feeds/home'
req=requests.get(url=target)
print(req.text)
很遗憾，程序报错了，问题出在哪里？通过错误信息，我们可以看到SSL认证错误，SSL认证是指客户端到服务器端的认证。一个非常简单的解决这个认证错误的方法就是设置requests.get()方法的verify参数。这个参数默认设置为True，也就是执行认证。我们将其设置为False，绕过认证不就可以了？
有想法就要尝试，编写代码如下：
# -*- coding:UTF-8 -*-
import requests
if __name__=='__main__':
target='http://unsplash.com/napi/feeds/home'
req=requests.get(url=target, verify=False)
print(req.text)
认证问题解决了，又有新问题了：
可以看到，我们GET请求又失败了，这是为什么？这个网站反爬虫的手段除了动态加载，还有一个反爬虫手段，那就是验证Request Headers。接下来，让我们分析下这个Requests Headers：
我截取了Fiddler的抓包信息，可以看到Requests Headers里又很多参数，有Accept、Accept-Encoding、Accept-Language、DPR、User-Agent、Viewport-Width、accept-version、Referer、x-unsplash-client、authorization、Connection、Host。它们都是什么意思呢？
专业的解释能说的太多，我挑重点：
User-Agent：这里面存放浏览器的信息。可以看到上图的参数值，它表示我是通过Windows的Chrome浏览器，访问的这个服务器。如果我们不设置这个参数，用Python程序直接发送GET请求，服务器接受到的User-Agent信息就会是一个包含python字样的User-Agent。如果后台设计者验证这个User-Agent参数是否合法，不让带Python字样的User-Agent访问，这样就起到了反爬虫的作用。这是一个最简单的，最常用的反爬虫手段。
Referer：这个参数也可以用于反爬虫，它表示这个请求是从哪发出的。可以看到我们通过浏览器访问网站，这个请求是从https://unsplash.com/，这个地址发出的。如果后台设计者，验证这个参数，对于不是从这个地址跳转过来的请求一律禁止访问，这样就也起到了反爬虫的作用。
authorization：这个参数是基于AAA模型中的身份验证信息允许访问一种资源的行为。在我们用浏览器访问的时候，服务器会为访问者分配这个用户ID。如果后台设计者，验证这个参数，对于没有用户ID的请求一律禁止访问，这样就又起到了反爬虫的作用。
Unsplash是根据哪个参数反爬虫的呢？根据我的测试，是authorization。我们只要通过程序手动添加这个参数，然后再发送GET请求，就可以顺利访问了。怎么什么设置呢？还是requests.get()方法，我们只需要添加headers参数即可。编写代码如下：
# -*- coding:UTF-8 -*-
import requests
if __name__=='__main__':
target='http://unsplash.com/napi/feeds/home'
headers={'authorization':'your Client-ID'}
req=requests.get(url=target, headers=headers, verify=False)
print(req.text)
headers参数值是通过字典传入的。记得将上述代码中your Client-ID换成诸位自己抓包获得的信息。代码运行结果如下：
皇天不负有心人，可以看到我们已经顺利获得json数据了，里面有next_page和照片的id。接下来就是解析json数据。根据我们之前分析可知，next_page放在了json数据的最外侧，照片的id放在了photos->id里。我们使用json.load()方法解析数据，编写代码如下：
# -*- coding:UTF-8 -*-
import requests, json
if __name__=='__main__':
target='http://unsplash.com/napi/feeds/home'
headers={'authorization':'your Client-ID'}
req=requests.get(url=target, headers=headers, verify=False)
html=json.loads(req.text)
next_page=html['next_page']
print('下一页地址:',next_page)
for each in html['photos']:
print('图片ID:',each['id'])
解析json数据很简单，跟字典操作一样，就是字典套字典。json.load()里面的参数是原始的json格式的数据。程序运行结果如下：
图片的ID已经获得了，再通过字符串处理一下，就生成了我们需要的图片下载请求地址。根据这个地址，我们就可以下载图片了。下载方式，使用直接写入文件的方法。
（3）整合代码
每次获取链接加一个1s延时，因为人在浏览页面的时候，翻页的动作不可能太快。我们要让我们的爬虫尽量友好一些。
# -*- coding:UTF-8 -*-
import requests, json, time, sys
from contextlib import closing
class get_photos(object):
def __init__(self):
self.photos_id=[]
self.download_server='https://unsplash.com/photos/xxx/download?force=trues'
self.target='http://unsplash.com/napi/feeds/home'
self.headers={'authorization':'your Client-ID'}
"""
函数说明:获取图片ID
Parameters:
无
Returns:
无
Modify:
2017-09-13
"""
def get_ids(self):
req=requests.get(url=self.target, headers=self.headers, verify=False)
html=json.loads(req.text)
next_page=html['next_page']
for each in html['photos']:
self.photos_id.append(each['id'])
time.sleep(1)
for i in range(4):
req=requests.get(url=next_page, headers=self.headers, verify=False)
html=json.loads(req.text)
next_page=html['next_page']
for each in html['photos']:
self.photos_id.append(each['id'])
time.sleep(1)
"""
函数说明:图片下载
Parameters:
无
Returns:
无
Modify:
2017-09-13
"""
def download(self, photo_id, filename):
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36'}
target=self.download_server.replace('xxx', photo_id)
with closing(requests.get(url=target, stream=True, verify=False, headers=self.headers)) as r:
with open('%d.jpg' % filename, 'ab+') as f:
for chunk in r.iter_content(chunk_size=1024):
if chunk:
f.write(chunk)
f.flush()
if __name__=='__main__':
gp=get_photos()
print('获取图片连接中:')
gp.get_ids()
print('图片下载中:')
for i in range(len(gp.photos_id)):
print(' ?正在下载第%d张图片' % (i+1))
gp.download(gp.photos_id[i], (i+1))
下载速度还行，有的图片下载慢是因为图片太大。可以看到右侧也打印了一些警报信息，这是因为我们没有进行SSL验证。
学会了爬取图片，简单的动态加载的网站也难不倒你了。赶快试试国内的一些图片网站吧！
3. 爱奇艺VIP视频下载
（1）实战背景
爱奇艺的VIP视频只有会员能看，普通用户只能看前6分钟。比如加勒比海盗5的URL：http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1
我们怎么免费看VIP视频呢？一个简单的方法，就是通过旋风视频VIP解析网站。URL：http://api.xfsub.com/
这个网站为我们提供了免费的视频解析，它的通用解析方式是：
http://api.xfsub.com/index.php?url=[播放地址或视频id]
比如，对于绣春刀这个电影，我们只需要在浏览器地址栏输入：
http://api.xfsub.com/index.php?url=http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1
这样，我们就可以在线观看这些VIP视频了：
但是这个网站只提供了在线解析视频的功能，没有提供下载接口，如果想把视频下载下来，我们就可以利用网络爬虫进行抓包，将视频下载下来。
（2）实战升级
分析方法相同，我们使用Fiddler进行抓包：
我们可以看到，有用的请求并不多，我们逐条分析。我们先看第一个请求返回的信息。
可以看到第一个请求是GET请求，没有什么有用的信息，继续看下一条。
我们看到，第二条GET请求地址变了，并且在返回的信息中，我们看到，这个网页执行了一个POST请求。POST请求是啥呢？它跟GET请求正好相反，GET是从服务器获得数据，而POST请求是向服务器发送数据，服务器再根据POST请求的参数，返回相应的内容。这个POST请求有四个参数，分别为time、key、url、type。记住这个有用的信息，我们在抓包结果中，找一下这个请求，看看这个POST请求做了什么。
很显然，这个就是我们要找的POST请求，我们可以看到POST请求的参数以及返回的json格式的数据。其中url存放的参数如下：
xfsub_api\/url.php?key=02896e4af69fb18f70129b6046d7c718&time=1505724557&url=http%3A%2F%2Fwww.iqiyi.com%2Fv_19rr7qhfg0.html&type=&xml=1
这个信息有转义了，但是没有关系，我们手动提取一下，变成如下形式：
xfsub_api/url.php?key=02896e4af69fb18f70129b6046d7c718&time=1505724557&url=http://www.iqiyi.com/v_19rr7qhfg0.html&type=&xml=1
我们已经知道了这个解析视频的服务器的域名，再把域名加上：
http://api.xfsub.com/xfsub_api\url.php?key=02896e4af69fb18f70129b6046d7c718&time=1505724557&url=http://www.iqiyi.com/v_19rr7qhfg0.html&type=&xml=1
这里面存放的是什么东西？不会视频解析后的地址吧？我们有浏览器打开这个地址看一下：
果然，我们可以看到视频地址近在眼前啊，URL如下：
http://disp.titan.mgtv.com/vod.do?fmt=4&pno=1121&fid=1FEA2622E0BD9A1CA625FBE9B5A238A6&file=/c1/2017/09/06_0/1FEA2622E0BD9A1CA625FBE9B5A238A6_20170906_1_1_705.mp4
我们再打开这个视频地址：
瞧，我们就这样得到了这个视频在服务器上的缓存地址。根据这个地址，我们就可以轻松下载视频了。
PS：需要注意一点，这些URL地址，都是有一定时效性的，很快就会失效，因为里面包含时间信息。所以，各位在分析的时候，要根据自己的URL结果打开网站才能看到视频。
接下来，我们的任务就是编程实现我们所分析的步骤，根据不同的视频播放地址获得视频存放的地址。
现在梳理一下编程思路：
用正则表达式匹配到key、time、url等信息。
根据匹配的到信息发POST请求，获得一个存放视频信息的url。
根据这个url获得视频存放的地址。
根据最终的视频地址，下载视频。
（3）编写代码
编写代码的时候注意一个问题，就是我们需要使用requests.session()保持我们的会话请求。简单理解就是，在初次访问服务器的时候，服务器会给你分配一个身份证明。我们需要拿着这个身份证去继续访问，如果没有这个身份证明，服务器就不会再让你访问。这也就是这个服务器的反爬虫手段，会验证用户的身份。
思路已经给出，希望喜欢爬虫的人可以在运行下代码之后，自己重头编写程序，因为只有经过自己分析和测试之后，才能真正明白这些代码的意义。上述代码运行结果如下：
我们已经顺利获得了mp4这个视频文件地址。根据视频地址，使用 urllib.request.urlretrieve() 即可将视频下载下来。编写代码如下：
urlretrieve()有三个参数，第一个url参数是视频存放的地址，第二个参数filename是保存的文件名，最后一个是回调函数，它方便我们查看下载进度。代码量不大，很简单，主要在于分析过程。代码运行结果如下：
下载速度挺快的，几分钟视频下载好了。
对于这个程序，感兴趣的朋友可以进行扩展一下，设计出一个小软件，根据用户提供的url，提供PC在线观看、手机在线观看、视频下载等功能。
四、总结
爬虫时效性低，同样的思路过了一个月，甚至一周可能无法使用，但是爬取思路都是如此，完全可以自行分析。
本次实战代码，均已上传我的Github，欢迎Follow、Star：
https://github.com/Jack-Cherish/python-spider
如有问题，请留言。如有错误，还望指正，谢谢！
其实在当今社会，网络上充斥着大量有用的数据，我们只需要耐心的观察，再加上一些技术手段，就可以获取到大量的有价值数据。这里的“技术手段”就是网络爬虫。今天就给大家分享一篇爬虫基础知识和入门教程：
什么是爬虫？
爬虫就是自动获取网页内容的程序，例如搜索引擎，Google，Baidu 等，每天都运行着庞大的爬虫系统，从全世界的网站中爬虫数据，供用户检索时使用。
爬虫流程
其实把网络爬虫抽象开来看，它无外乎包含如下几个步骤
模拟请求网页。模拟浏览器，打开目标网站。获取数据。打开网站之后，就可以自动化的获取我们所需要的网站数据。保存数据。拿到数据之后，需要持久化到本地文件或者数据库等存储设备中。那么我们该如何使用 Python 来编写自己的爬虫程序呢，在这里我要重点介绍一个 Python 库：Requests。
Requests 使用
Requests 库是 Python 中发起 HTTP 请求的库，使用非常方便简单。
模拟发送 HTTP 请求
发送 GET 请求
当我们用浏览器打开豆瓣首页时，其实发送的最原始的请求就是 GET 请求
importrequestsres=requests.get('http://www.douban.com')print(res)print(type(res))>>><Response[200]><class'requests.models.Response'>可以看到，我们得到的是一个 Response 对象
如果我们要获取网站返回的数据，可以使用 text 或者 content 属性来获取
text：是以字符串的形式返回数据
content：是以二进制的方式返回数据
print(type(res.text))print(res.text)>>><class'str'><!DOCTYPEHTML><htmllang="zh-cmn-Hans"class=""><head><metacharset="UTF-8"><metaname="google-site-verification"content="ok0wCgT20tBBgo9_zat2iAcimtN4Ftf5ccsh092Xeyw"/><metaname="description"content="提供图书、电影、音乐唱片的推荐、评论和价格比较，以及城市独特的文化生活。"><metaname="keywords"content="豆瓣,广播,登陆豆瓣">.....发送 POST 请求
对于 POST 请求，一般就是提交一个表单
r=requests.post('http://www.xxxx.com',data={"key":"value"})data 当中，就是需要传递的表单信息，是一个字典类型的数据。
header 增强
对于有些网站，会拒绝掉没有携带 header 的请求的，所以需要做一些 header 增强。比如：UA，Cookie，host 等等信息。
header={"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/76.0.3809.100Safari/537.36","Cookie":"yourcookie"}res=requests.get('http://www.xxx.com',headers=header)解析 HTML
现在我们已经获取到了网页返回的数据，即 HTML 代码，下面就需要解析 HTML，来提取其中有效的信息。
BeautifulSoup
BeautifulSoup 是 Python 的一个库，最主要的功能是从网页解析数据。
frombs4importBeautifulSoup#导入BeautifulSoup的方法#可以传入一段字符串，或者传入一个文件句柄。一般都会先用 requests 库获取网页内容，然后使用 soup 解析。soup=BeautifulSoup(html_doc,'html.parser')#这里一定要指定解析器，可以使用默认的 html，也可以使用 lxml。print(soup.prettify())#按照标准的缩进格式输出获取的 soup 内容。BeautifulSoup 的一些简单用法
print(soup.title)#获取文档的titleprint(soup.title.name)#获取title的name属性print(soup.title.string)#获取title的内容print(soup.p)#获取文档中第一个p节点print(soup.p['class'])#获取第一个p节点的class内容print(soup.find_all('a'))#获取文档中所有的a节点，返回一个listprint(soup.find_all('span',attrs={'style':"color:#ff0000"}))#获取文档中所有的span且style符合规则的节点，返回一个list具体的用法和效果，我会在后面的实战中详细说明。
XPath 定位
XPath 是 XML 的路径语言，是通过元素和属性进行导航定位的。几种常用的表达式
表达式含义node选择 node 节点的所有子节点/从根节点选取//选取所有当前节点.当前节点..父节点@属性选取text()当前路径下的文本内容
一些简单的例子
xpath('node')#选取node节点的所有子节点xpath('/div')#从根节点上选取div元素xpath('//div')#选取所有div元素xpath('./div')#选取当前节点下的div元素xpath('//@id')#选取所有id属性的节点当然，XPath 非常强大，但是语法也相对复杂，不过我们可以通过 Chrome 的开发者工具来快速定位到元素的 xpath，如下图
得到的 xpath 为
//*[@id="anony-nav"]/div[1]/ul/li[1]/a在实际的使用过程中，到底使用 BeautifulSoup 还是 XPath，完全取决于个人喜好，哪个用起来更加熟练方便，就使用哪个。
爬虫实战：爬取豆瓣海报
我们可以从豆瓣影人页，进入都影人对应的影人图片页面，比如以刘涛为例子，她的影人图片页面地址为
https://movie.douban.com/celebrity/1011562/photos/
下面我们就来分析下这个网页
目标网站页面分析
注意：网络上的网站页面构成总是会变化的，所以这里你需要学会分析的方法，以此类推到其他网站。正所谓授人以鱼不如授人以渔，就是这个原因。
Chrome 开发者工具
Chrome 开发者工具（按 F12 打开），是分析网页的绝佳利器，一定要好好使用。
我们在任意一张图片上右击鼠标，选择“检查”，可以看到同样打开了“开发者工具”，而且自动定位到了该图片所在的位置
可以清晰的看到，每张图片都是保存在 li 标签中的，图片的地址保存在 li 标签中的 img 中。
知道了这些规律后，我们就可以通过 BeautifulSoup 或者 XPath 来解析 HTML 页面，从而获取其中的图片地址。
代码编写
我们只需要短短的几行代码，就能完成图片 url 的提取
importrequestsfrombs4importBeautifulSoupurl='https://movie.douban.com/celebrity/1011562/photos/'res=requests.get(url).textcontent=BeautifulSoup(res,"html.parser")data=content.find_all('div',attrs={'class':'cover'})picture_list=[]fordindata:plist=d.find('img')['src']picture_list.append(plist)print(picture_list)>>>['https://img1.doubanio.com/view/photo/m/public/p2564834267.jpg','https://img1.doubanio.com/view/photo/m/public/p860687617.jpg','https://img1.doubanio.com/view/photo/m/public/p2174001857.jpg','https://img1.doubanio.com/view/photo/m/public/p1563789129.jpg','https://img3.doubanio.com/view/photo/m/public/p2363429946.jpg','https://img1.doubanio.com/view/photo/m/public/p2382591759.jpg','https://img3.doubanio.com/view/photo/m/public/p2363269182.jpg','https://img1.doubanio.com/view/photo/m/public/p1959495269.jpg','https://img3.doubanio.com/view/photo/m/public/p2356638830.jpg','https://img3.doubanio.com/view/photo/m/public/p1959495471.jpg','https://img3.doubanio.com/view/photo/m/public/p1834379290.jpg','https://img3.doubanio.com/view/photo/m/public/p2325385303.jpg','https://img3.doubanio.com/view/photo/m/public/p2361707270.jpg','https://img3.doubanio.com/view/photo/m/public/p2325385321.jpg','https://img3.doubanio.com/view/photo/m/public/p2196488184.jpg','https://img1.doubanio.com/view/photo/m/public/p2186019528.jpg','https://img1.doubanio.com/view/photo/m/public/p2363270277.jpg','https://img3.doubanio.com/view/photo/m/public/p2325240501.jpg','https://img1.doubanio.com/view/photo/m/public/p2258657168.jpg','https://img1.doubanio.com/view/photo/m/public/p2319710627.jpg','https://img3.doubanio.com/view/photo/m/public/p2319710591.jpg','https://img3.doubanio.com/view/photo/m/public/p2311434791.jpg','https://img1.doubanio.com/view/photo/m/public/p2363270708.jpg','https://img3.doubanio.com/view/photo/m/public/p2258657185.jpg','https://img3.doubanio.com/view/photo/m/public/p2166193915.jpg','https://img3.doubanio.com/view/photo/m/public/p2363265595.jpg','https://img3.doubanio.com/view/photo/m/public/p2312085755.jpg','https://img3.doubanio.com/view/photo/m/public/p2311434790.jpg','https://img3.doubanio.com/view/photo/m/public/p2276569205.jpg','https://img1.doubanio.com/view/photo/m/public/p2165332728.jpg']可以看到，是非常干净的列表，里面存储了海报地址。但是这里也只是一页海报的数据，我们观察页面发现它有好多分页，如何处理分页呢。
分页处理
我们点击第二页，看看浏览器 url 的变化
https://movie.douban.com/celebrity/1011562/photos/?type=C&start=30&sortby=like&size=a&subtype=a
发现浏览器 url 增加了几个参数
再点击第三页，继续观察 url
https://movie.douban.com/celebrity/1011562/photos/?type=C&start=60&sortby=like&size=a&subtype=a
通过观察可知，这里的参数，只有 start 是变化的，即为变量，其余参数都可以按照常理来处理
同时还可以知道，这个 start 参数应该是起到了类似于 page 的作用，start=30 是第二页，start=60 是第三页，依次类推，最后一页是 start=420。
于是我们处理分页的代码也呼之欲出了
首先将上面处理 HTML 页面的代码封装成函数
defget_poster_url(res):content=BeautifulSoup(res,"html.parser")data=content.find_all('div',attrs={'class':'cover'})picture_list=[]fordindata:plist=d.find('img')['src']picture_list.append(plist)returnpicture_list然后我们在另一个函数中处理分页和调用上面的函数
deffire():page=0foriinrange(0,450,30):print("开始爬取第%s 页"%page)url='https://movie.douban.com/celebrity/1011562/photos/?type=C&start={}&sortby=like&size=a&subtype=a'.format(i)res=requests.get(url).textdata=get_poster_url(res)page+=1此时，我们所有的海报数据都保存在了 data 变量中，现在就需要一个下载器来保存海报了
defdownload_picture(pic_l):ifnotos.path.exists(r'picture'):os.mkdir(r'picture')foriinpic_l:pic=requests.get(i)p_name=i.split('/')[7]withopen('picture\\'+p_name,'wb')asf:f.write(pic.content)再增加下载器到 fire 函数，此时为了不是请求过于频繁而影响豆瓣网的正常访问，设置 sleep time 为1秒
deffire():page=0foriinrange(0,450,30):print("开始爬取第%s 页"%page)url='https://movie.douban.com/celebrity/1011562/photos/?type=C&start={}&sortby=like&size=a&subtype=a'.format(i)res=requests.get(url).textdata=get_poster_url(res)download_picture(data)page+=1time.sleep(1)下面就执行 fire 函数，等待程序运行完成后，当前目录下会生成一个 picture 的文件夹，里面保存了我们下载的所有海报
核心代码讲解
下面再来看下完整的代码
importrequestsfrombs4importBeautifulSoupimporttimeimportosdeffire():page=0foriinrange(0,450,30):print("开始爬取第%s 页"%page)url='https://movie.douban.com/celebrity/1011562/photos/?type=C&start={}&sortby=like&size=a&subtype=a'.format(i)res=requests.get(url).textdata=get_poster_url(res)download_picture(data)page+=1time.sleep(1)defget_poster_url(res):content=BeautifulSoup(res,"html.parser")data=content.find_all('div',attrs={'class':'cover'})picture_list=[]fordindata:plist=d.find('img')['src']picture_list.append(plist)returnpicture_listdefdownload_picture(pic_l):ifnotos.path.exists(r'picture'):os.mkdir(r'picture')foriinpic_l:pic=requests.get(i)p_name=i.split('/')[7]withopen('picture\\'+p_name,'wb')asf:f.write(pic.content)if__name__=='__main__':fire()fire 函数
这是一个主执行函数，使用 range 函数来处理分页。
range 函数可以快速的创建整数列表，在 for 循环时及其好用。函数中的0代表从0开始计数，450代表一直迭代到450，不包含450，30代表步长，即每次递增的数字间隔。range(0, 450, 30)，依次会输出：0，30，60，90 …format 函数，是一种字符串格式化方式time.sleep(1) 即为暂停1秒钟get_poster_url 函数
这个就是解析 HTML 的函数，使用的是 BeautifulSoup
通过 find_all 方法查找所有 class 为 “cover” 的 div 元素，返回的是一个列表使用 for 循环，循环上一步拿到的列表，取出 src 的内容，append 到列表中append 是列表的一个方法，可以在列表后面追加元素download_picture 函数
简易图片下载器
首先判断当前目录下是否存在 picture 文件夹，os.path.existsos 库是非常常用用来操作系统相关的命令库，os.mkdir 就是创建文件夹split 用于切割字符串，取出角标为7的元素，作为存储图片的名称with 方法用来快速打开文件，打开的进程可以自行关闭文件句柄，而不再需要手动执行 f.close() 关闭文件总结
本节讲解了爬虫的基本流程以及需要用到的 Python 库和方法，并通过一个实际的例子完成了从分析网页，到数据存储的全过程。其实爬虫，无外乎模拟请求，解析数据，保存数据。
当然有的时候，网站还会设置各种反爬机制，比如 cookie 校验，请求频度检查，非浏览器访问限制，JS 混淆等等，这个时候就需要用到反反爬技术了，比如抓取 cookie 放到 headers 中，使用代理 IP 访问，使用 Selenium 模拟浏览器等待方式。
由于本课程不是专门的爬虫课，这些技能就留待你自己去探索挖掘啦。
文源：萝卜大杂烩 作者：周萝卜
下一篇：rter是什么意思
发表评论