Python3.5 爬虫之由浅入深（一、get网页）
望共同进步
转载请注明地址：http://mp.blog.csdn.net/postedit/79527224
首先的安装requests模块，这里安装和前面讲到的安装xlrd模块类似，详见http://blog.csdn.net/weixin_39701039/article/details/79492672
安装好requests模块之后，就可以开始导入import requests 来开始些代码了
代码如下：
#coding:utf-8 #python3.5.1 import requests import time #这里以我的微博网址为例 url = 'http://blog.csdn.net/weixin_39701039' #定义请求头部 headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' } #'User-Agent'为代理，方便爬虫 response = requests.get(url,headers = headers,timeout = 60) #url为传入网址参数；headers为请求头部；timeout为设置反应延迟时间，这里意味着延迟超过60s则放弃 response.encoding = 'utf-8' #编码 with open(r'G:\任务20180312' + '/' + 'python初学.html','wb') as f: #wb： w表示写入，b表示二进制， wb表示以二进制文件写入 #response.content 为获取的二进制文件 f.write(response.content)我们爬取网页的过程大致分四步：
第一步：获取需要爬取的url（当然这里不用，因为是单一的url已经给出，后面会将多个url的爬取）；
第二步：将url发送请求到服务器（requests.get（url，...））；
第三步：服务器将内容发送到客户端（也就是我们的电脑上response = requests.get（））；
第四步：保存内容到对应的文件位置（with....到结束部分）。
为了方便理解，可以看下http协议部分，这里我没有做总结，以后有机会再做
如下图就是获取的结果了
多个网页的下载请转http://blog.csdn.net/weixin_39701039/article/details/79535578
望有所帮助，望采纳！
