请选择 进入手机版 | 继续访问电脑版

[python] Python爬虫urllib和requests的区别详解

  [复制链接]
查看820 | 回复224 | 2021-9-13 14:20:20 | 显示全部楼层 |阅读模式

我们讲了requests的用法以及利用 requests简单爬取、保存网页的方法,这节课我们重要 讲urllib和requests的区别。

1、获取网页数据

第一步,引入模块。

两者引入的模块是不一样的,这一点显而易见。

Python爬虫urllib和requests的区别详解

第二步,简单网页发起的哀求 。

urllib是通过urlopen方法获取数据。

requests必要 通过网页的相应 范例 获取数据。

第三步,数据封装。

对于复杂的数据哀求 ,我们只是简单的通过urlopen方法肯定是不行的。末了 ,假如 你的时间不是很告急 ,并且又想快速的进步 ,最告急 的是不怕吃苦,建议你可以接洽 维:762459510 ,谁人 真的很不错,很多人进步都很快,必要 你不怕吃苦哦!大家可以去添加上看一下~

urllib中,我们知道对于有反爬虫机制的网站,我们必要 对URL举行 封装,以获取到数据。我们可以回顾下前几节课的内容:

Python爬虫urllib和requests的区别详解

requests模块中,就不必要 这么复杂的操作,直接在第二步中,加入参数headers即可:

Python爬虫urllib和requests的区别详解

2、剖析 网页数据

urllib和requests都可以通过bs4和re举行 数据的剖析 ,requests还可以通过xpath举行 剖析 。具体 剖析 方法之后会详解

3.保存数据

urllib必要 引入xlwt模块举行 新建表格、sheet表格写入数据.末了 ,假如 你的时间不是很告急 ,并且又想快速的进步 ,最告急 的是不怕吃苦,建议你可以接洽 维:762459510 ,谁人 真的很不错,很多人进步都很快,必要 你不怕吃苦哦!大家可以去添加上看一下~

Python爬虫urllib和requests的区别详解

requests通过with…as直接虚入数据:

Python爬虫urllib和requests的区别详解

到此这篇关于Python爬虫urllib和requests的区别详解的文章就先容 到这了,更多干系 Python爬虫urllib和requests的区别内容请搜索 脚本之家从前 的文章或继续欣赏 下面的干系 文章渴望 大家以后多多支持脚本之家!


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

avatar 千山落月坝 | 2021-9-13 16:10:47 | 显示全部楼层
admin楼主今年多大了?
回复

使用道具 举报

avatar 天褐女孩涛 | 2021-9-13 16:10:53 | 显示全部楼层
支持楼上的!
回复

使用道具 举报

avatar 历史人物费 | 2021-9-13 16:10:54 | 显示全部楼层
关注一下!
回复

使用道具 举报

avatar hecgdge4 | 2021-9-13 16:11:05 | 显示全部楼层
我默默的回帖,从不声张!
回复

使用道具 举报

avatar 李凯908 | 2021-9-13 16:11:10 | 显示全部楼层
admin楼主人气很旺!
回复

使用道具 举报

avatar 不继且回窗 | 2021-9-13 16:12:25 | 显示全部楼层
admin楼主很有艺术范!
回复

使用道具 举报

avatar 卡庙寺 | 2021-9-13 16:12:34 | 显示全部楼层
收藏了,改天让朋友看看!
回复

使用道具 举报

avatar 天下无敌522 | 2021-9-13 16:12:40 | 显示全部楼层
楼上的这是啥态度呢?
回复

使用道具 举报

avatar Runlinh | 2021-9-13 16:15:14 | 显示全部楼层
admin楼主最近很消极啊!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则