投稿    登录
欢迎来访~

崔庆才的文章

http://cv.cuiqingcai.com
Python

利用 Python Faker 包来制作假数据

利用 Python Faker 包来制作假数据
在做程序开发的时候,我们经常会用到一些测试数据,相信大多数同学是这么来造测试数据的: test1 test01 test02 测试1 测试2 测试数据1 这是一段测试文本 这是一段很长很长很长的测试文本.....

2019-08-06 12:24 4076浏览 10评论 25喜欢

Python

[Python3网络爬虫开发实战] 9.3-付费讯代理、阿布云代理的使用

[Python3网络爬虫开发实战] 9.3-付费讯代理、阿布云代理的使用
相对免费代理来说,付费代理的稳定性相对更高一点,本节介绍一下爬虫付费代理的相关使用过程。 1. 付费代理分类 在这里将付费代理分为两类: 提供接口获取海量代理,按天或者按量付费,如讯代理 搭建了代理隧道,直接设置固定域名代理,如阿布云 本节讲解一下这两种代理的使用方法,分别以...

2019-08-02 14:07 5231浏览 2评论 19喜欢

Python

[Python3网络爬虫开发实战] 9.2-代理池的维护

[Python3网络爬虫开发实战] 9.2-代理池的维护
我们在上一节了解了代理的设置方法,利用代理我们可以解决目标网站封 IP 的问题,而在网上又有大量公开的免费代理,其中有一部分可以拿来使用,或者我们也可以购买付费的代理 IP,价格也不贵。但是不论是免费的还是付费的,都不能保证它们每一个都是可用的,毕竟可能其他人也可能在用此 IP ...

2019-08-02 14:05 2710浏览 1评论 7喜欢

Python

[Python3网络爬虫开发实战] 9.1-代理的设置

[Python3网络爬虫开发实战] 9.1-代理的设置
在前面我们介绍了多种请求库,如 Requests、Urllib、Selenium 等。我们接下来首先贴近实战,了解一下代理怎么使用,为后面了解代理池、ADSL 拨号代理的使用打下基础。 下面我们来梳理一下这些库的代理的设置方法。 1. 获取代理 在做测试之前,我们需要先获取一个可...

2019-08-02 14:03 1783浏览 0评论 2喜欢

Python

[Python3网络爬虫开发实战] 9-代理的使用

[Python3网络爬虫开发实战] 9-代理的使用
我们在做爬虫的过程中经常会遇到这样的情况,最初爬虫正常运行,正常抓取数据,一切看起来都是那么的美好,然而一杯茶的功夫可能就会出现错误,比如 403 Forbidden,这时候打开网页一看,可能会看到“您的 IP 访问频率太高”这样的提示,或者跳出一个验证码让我们输入,输入之后才可...

2019-08-02 14:02 1583浏览 0评论 3喜欢

Python

[Python3网络爬虫开发实战] 8.4-微博宫格验证码的识别

[Python3网络爬虫开发实战] 8.4-微博宫格验证码的识别
本节我们来介绍一下新浪微博宫格验证码的识别,此验证码是一种新型交互式验证码,每个宫格之间会有一条指示连线,指示了我们应该的滑动轨迹,我们需要按照滑动轨迹依次从起始宫格一直滑动到终止宫格才可以完成验证,如图 8-24 所示: 图 8-24 验证码示例 鼠标滑动后的轨迹会以黄色的连...

2019-08-02 13:56 1634浏览 0评论 1喜欢

Python

[Python3网络爬虫开发实战] 8.3-点触点选验证码的识别

[Python3网络爬虫开发实战] 8.3-点触点选验证码的识别
上一节我们实现了极验验证码的识别,但是除了极验其实还有另一种常见的且应用广泛的验证码,比较有代表性的就是点触验证码。 可能你对这个名字比较陌生,但是肯定见过类似的验证码,比如 12306,这就是一种典型的点触验证码,如图 8-18 所示: 图 8-18 12306 验证码 我们...

2019-08-02 13:53 1520浏览 0评论 3喜欢

Python

[Python3网络爬虫开发实战] 8.2-极验滑动验证码的识别

[Python3网络爬虫开发实战] 8.2-极验滑动验证码的识别
上节我们了解了图形验证码的识别,简单的图形验证码我们可以直接利用 Tesserocr 来识别,但是近几年又出现了一些新型验证码,如滑动验证码,比较有代表性的就是极验验证码,它需要拖动拼合滑块才可以完成验证,相对图形验证码来说识别难度上升了几个等级,本节来讲解下极验验证码的识别过程...

2019-08-02 13:51 2395浏览 0评论 3喜欢

Python

[Python3网络爬虫开发实战] 8.1-图形验证码的识别

[Python3网络爬虫开发实战] 8.1-图形验证码的识别
本节我们首先来尝试识别最简单的一种验证码,图形验证码,这种验证码出现的最早,现在也很常见,一般是四位字母或者数字组成的,例如中国知网的注册页面就有类似的验证码,链接为:http://my.cnki.net/elibregister/commonRegister.aspx,页面如图...

2019-08-02 13:48 2020浏览 0评论 1喜欢