投稿    登录
欢迎来访~

最新发布 第2页

个人日志网崔庆才的个人博客

AG下注平台

爬虫智能解析库 Readability 和 Newspaper 的用法

爬虫智能解析库 Readability 和 Newspaper 的用法
舆情爬虫是网络爬虫一个比较重要的分支,舆情爬虫往往需要爬虫工程师爬取几百几千个新闻站点。比如一个新闻页面我们需要爬取其标题、正文、时间、作者等信息,如果用传统的方式来实现,每一个站点都要配置非常多的规则,如果要维护一个几百上千的站点,那人力成本简直太高了。 如果有一种方式可以在保...

崔庆才 2019-09-12 9:37 2709浏览 0评论 11喜欢

AG下注平台

谈谈 Zao 这个软件

谈谈 Zao 这个软件
这两天想必大家应该被一个软件刷屏了,它的名字叫做 Zao,中文音译就叫“造”。它为什么这么火呢?是因为我们可以上传自己的一张照片,他就能把我们的脸替换成一些热门视频的男主或女主的脸,也就是视频换脸。 比如有人尝试了把尼古拉斯赵四的脸换到美国队长的脸上,美队的气质简直就是被垄断了,...

崔庆才 2019-09-04 9:40 3574浏览 0评论 10喜欢

Python

【Python3急速”玩”IOT】MicroPython你需要”玩”一下

【Python3急速”玩”IOT】MicroPython你需要”玩”一下
Hi,大家好。 想必大家平时都在用各种的智能家居,智能硬件相关的东西,比如小米手环,智能音箱,智能插座… 那么,大家知道吗?这些东西都离不开一个东西,那就是处理器。通知这类东西,需要的处理器性能不必太强,如果用电脑或者手机的处理器那不太现实,而且也很大材小用。所以,在...

蒋翔宇 2019-08-15 20:23 8779浏览 15评论 51喜欢

AG下注平台

如何学好 MongoDB

如何学好 MongoDB
开发者如何学好 MongoDB 作为一名研发,数据库是或多或少都会接触到的技术。MongoDB 是热门的 NoSQL 之一,我们怎样才能学好 MongoDB 呢? 本篇文章,我们将从以下几方面讨论这个话题: MongoDB 是什么 我如何确定我需要学习 MongoDB 开发者应...

韦世东学算法和反爬虫 2019-08-14 20:22 4679浏览 3评论 20喜欢

Python

[Python3网络爬虫开发实战] 9.3-付费讯代理、阿布云代理的使用

[Python3网络爬虫开发实战] 9.3-付费讯代理、阿布云代理的使用
相对免费代理来说,付费代理的稳定性相对更高一点,本节介绍一下爬虫付费代理的相关使用过程。 1. 付费代理分类 在这里将付费代理分为两类: 提供接口获取海量代理,按天或者按量付费,如讯代理 搭建了代理隧道,直接设置固定域名代理,如阿布云 本节讲解一下这两种代理的使用方法,分别以...

崔庆才 2019-08-02 14:07 10947浏览 2评论 21喜欢

Python

[Python3网络爬虫开发实战] 9.2-代理池的维护

[Python3网络爬虫开发实战] 9.2-代理池的维护
我们在上一节了解了代理的设置方法,利用代理我们可以解决目标网站封 IP 的问题,而在网上又有大量公开的免费代理,其中有一部分可以拿来使用,或者我们也可以购买付费的代理 IP,价格也不贵。但是不论是免费的还是付费的,都不能保证它们每一个都是可用的,毕竟可能其他人也可能在用此 IP ...

崔庆才 2019-08-02 14:05 6712浏览 2评论 12喜欢

Python

[Python3网络爬虫开发实战] 9.1-代理的设置

[Python3网络爬虫开发实战] 9.1-代理的设置
在前面我们介绍了多种请求库,如 Requests、Urllib、Selenium 等。我们接下来首先贴近实战,了解一下代理怎么使用,为后面了解代理池、ADSL 拨号代理的使用打下基础。 下面我们来梳理一下这些库的代理的设置方法。 1. 获取代理 在做测试之前,我们需要先获取一个可...

崔庆才 2019-08-02 14:03 4813浏览 0评论 5喜欢

Python

[Python3网络爬虫开发实战] 9-代理的使用

[Python3网络爬虫开发实战] 9-代理的使用
我们在做爬虫的过程中经常会遇到这样的情况,最初爬虫正常运行,正常抓取数据,一切看起来都是那么的美好,然而一杯茶的功夫可能就会出现错误,比如 403 Forbidden,这时候打开网页一看,可能会看到“您的 IP 访问频率太高”这样的提示,或者跳出一个验证码让我们输入,输入之后才可...

崔庆才 2019-08-02 14:02 3929浏览 0评论 7喜欢