《Python 3网络爬虫开发实战》崔庆才

发布于

　　本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实现数据爬取，最后介绍了pyspider框架、Scrapy框架和分布式爬虫。

　　

　　本书适合Python程序员阅读。

　　

下载：Python 3网络爬虫开发实战.pdf.zip | 源代码_Python 3网络爬虫开发实战.zip

评论

发表评论

Popular Posts

常用的国内外延迟测速链接（generate_204）

发布于
以下是一些常用的国内外延迟测速链接，通常返回204状态码（generate_204） 服务提供者 链接 大陆体验 境外体验 Google http://www.gstatic.com/generate_204 5 10 Google http://www.google-analytics.com/generate_204 6 4 Google http://www.google.com/generate_204 0 10 Google http://connectivitycheck.gstatic.com/generate_204 4 10 Apple http://captive.apple.com 3 10 Apple http://www.apple.com/library/test/success.html 7 10 Microsoft http://www.msftconnecttest.com/connecttest.txt 5 10 Cloudflare http://cp.cloudflare.com/ 4 10 Firefox http://detectportal.firefox.com/success.txt 5 10 V2EX http://www.v2ex.com/generate_204 0 10 ...
阅读全文

随身WiFi折腾指南: 解锁、刷机与DIY

发布于
市面上随身Wifi的产品层出不穷，我也入手了两个，记录一下折腾的步骤。 目前较多的是中兴微和高通骁龙410两个版本，对于只是想插自己的卡的用户，推荐购买中芯微芯片轻型Linux系统的随身wifi，因为这种产品在稳定性和发热量方面表现较好，无需额外折腾；如果用户想搞机，推荐购买高通骁龙410纸盒系列的随身wifi，这种产品拥有很高的可玩性，可以刷出各种不同的操作系统或软路由等，相对灵活。 拿到手根据以下步骤折腾： 1. 解锁sim卡槽密码 获取解锁sim卡槽密码，这是进行手机解锁操作所必要的步骤之一 http://192.168.0.1/goform/goform_get_cmd_process?cmd=unlock_network_code 2. 移除商家远控后台 开启ADB命令。该命令通常用于与手机进行调试和控制 http://192.168.0.1/goform/goform_set_cmd_process?goformId=SET_DEVICE_MODE&debug_enable=1 当用户使用`nv`命令时，表示正在修改或查询机器的某些固件参数。以下是对所有出现的`nv`命令的解释： - `nv show`：查看所有可设置的参数； - `nv set mqtt_host=127.0.0.1`：将 MQTT 服务器的主机地址设置为本地； - `nv set fota_updateMode=0`：禁止自动下载固件更新； - `nv set os_url=http://127.0.0.1`：将系统软件更新服务器的地址设置为本地； - `nv set lpa_trigger_host=127.0.1`：将选定的服务地址设置为本地； - `nv set safecare_hostname=127.0.0.1`：将 Safecare 服务器的主机地址设置为本地； - `nv set safecare_mobsite=http://127.0.0.1`：将手机站点地址设置为本地； - `nv set TM_SERVER_NAME=127.0.0.1`：将 TM 服务器的主机地址设置为本地； - `nv set lpa_trigger_updata_url=/`：将选定的服务地址设置为根目录； - `nv set lpa_trigger_event_url=/`：将...
阅读全文

eMule eXcalibur 1.85.3 简体中文版(风之痕)

发布于
一直嫌其它 eMule 客户端功能过多过杂, 或者缺少我需要使用的功能, 加上偶尔也需要内网互联功能, 最后就决定基于 VeryCD 的源代码修改来满足自己的需要. eXcalibur 就是这样的一个产物. 目前版本号 1.85.3, 基于 VeryCD Mod 080919 源代码. 　　eXcalibur 是基于 VeryCD Mod 的一个修改版本, 换句话说就是 Mod 的 Mod. 开发本意是以较小的文件体积, 在保留 VeryCD Mod 的内网互联功能的同时, 吸收其它 Mod 的优点和特性, 尽可能的增强稳定性并增加较为实用的功能. 这个 Mod 主要偏重于常规应用, 而非高级应用. 如果你需要高级功能如强力发布, 手动 a4af, 多个队列等等功能, 请使用 Xtreme 或 StulleMule. 　　相对于 VeryCD 080627 的改变 ([-] 删除功能 [+] 添加功能 [F] 修复错误): 　　[-] 内置浏览器以增强程序稳定性; 　　[-] 下载完成后反馈文件相关信息到 VeryCD 服务器的功能; 　　[-] 搜索关键字过滤功能; 　　[-] 自动更新及安装功能; 　　[-] IE BHO 及右键菜单相关功能; 　　[-] 搜索窗口中访问 VeryCD 网站搜索功能; 　　[-] 社区加分功能; 　　[-] PopMule 功能; 　　[-] 传输窗口右键菜单中金山毒霸在线查毒功能; 　　[-] 默认工具栏样式, 恢复 eMule 默认工具栏; 　　[-] 错误报告功能模块; 　　[-] 传输列表, 共享列表以及搜索列表中的 “注释” 栏目; 　　[-] 修改更新链接检查无效的问题; 　　[-] 已经无用的客户端过滤功能; 　　[-] 强制向用户名中添加标签 [CHN] 和 [VeryCD] 的功能; 　　[-] 最低 30K 上传否则按 1:4 比例限速下载的功能(恢复官版速度限制设置); 　　[-] PNG 格式闪屏图片恢复为原版闪屏图片; 　　[-] 多语言选择功能, 仅保留简体中文界面; 　　[+] 传输窗口彩色显示 LowID 用户功能; (来自 Xtreme) 　　[+] 传输窗口和共享窗口中的批量重命名功能; (来自 Xtreme) 　　[+] 所有窗口显示客户端完整版本信息(客户端版本 +...
阅读全文

HTTP【袋里】是如何对待HTTPS的？

发布于
　　HTTPS已经成为今天web内容安全访问的事实性标准，本质上是要求client和server两端之间建立一个安全管道，然后之间进行加密的数据传输。然而，HTTP【袋里】作为client和server之间的一个中间人，显然破坏了HTTPS要求的端到端的原则，那么HTTP【袋里】究竟是如何支持HTTPS传输的呢？ 　　HTTPS 　　HTTPS其实就是HTTP协议，只不过在传输HTTP Request和Response之前，先在client和server间建立了一个TLS连接，然后才传输加密后的Request和Response。从具体过程来看，首先是client向server发起TCP连接请求，经三步握手建连成功后，client再发起TLS握手请求。经过client hello、server hello、server certificate、client key exchange和server key exchange几步后，TLS连接成功，这样双方就已经协商好了密钥，之后就可以进行安全传输了。 　　HTTP【袋里】 　　当有【袋里】存在于client和server间时，对于普通HTTP协议，client会先把Request交给【袋里】，然后【袋里】再转发给server，server给【袋里】返回Response后，【袋里】最终把Response交给client。多数【袋里】在转发Request或是Response之前，都会对其进行一定的修改，这就要求【袋里】能读懂HTTP消息格式。尤其是有些【袋里】还具有缓存功能，甚至可以直接满足Request而不必惊动server。CDN节点其实就可以被视为一种HTTP【袋里】。 　　HTTP【袋里】支持HTTPS 　　现在我们考虑让HTTP【袋里】支持HTTPS的情况。如果我们要让【袋里】理解HTTP消息格式，那就只能采用（client到proxy的安全管道+proxy到server的安全管道）这种前后端分离的机制。且不说我们是否无条件相信【袋里】，假设【袋里】没有问题，我们还是会碰到很大的麻烦：证书问题。在建立TLS连接的过程中，server需要向client返回其证书，只有其证书是有效的，client才会信任这个连接。当然，无效的证书并不一定会阻断连接，一些浏览器都会让用户选择是否继续。因为【袋里】和server未必属于同...
阅读全文

“菜鸟”程序员和“大神”程序员差距在哪里

发布于
“菜鸟”和“大神” 刚刚走出就业的程序员，技术是刚刚起步的基点。那下面我们就聊一聊有关技术 的东西。首先请您先想想这几个问题。现在社会上有很多程序员，CSDN就是我们程序员的家，那您是否可想过程序员为什么会有不同的水平？你又是哪一类的程 序员？“菜鸟”程序员和“大神”程序员差在哪里？真是差在技术上了吗？那不是差在技术上那差在了哪里？ 上面很多一连串的问题，没有把你搞晕吧！那就听我一一给您分析这个问题背后的答案。确切的说程序员分为“菜鸟”程序员和“大神”程序员。 一个程序员有多优秀，就得看他写的代码！程序员自己的代码才是自己工作状态的真实体现。 “菜鸟”程序员和“大神”程序员到底有什么区别哪，那我们就来看看。 代码的展现，网络的应用 展现题目：一个很小的功能，比如说一个当鼠标移动到一个标题下，在下面显示其可选菜单。 “菜鸟”程序员的代码是什么样子，自己想一下。“菜鸟”程序员的代码往往会会写的比较冗余，而且这些代码不是从书上找来的就是从网上找来的还有可能就是自己会这一部分代码（仅存记忆的提取，真正的原理似懂非懂，好像雾里看花）。 “大神”的代码会写成什么哪？“大神”程序员的代码，当你看的第一眼：简洁；第二眼：真“N”。用最少的代码，把这个程序写的非常精辟了，体现的自己的思维思路。 为什么会出现这样的现象，同样一个小的功能，放在不同的手里就产生不同的结果。这个难道不值得我们去探究原因吗？ 真正的原因是:“菜鸟”程序员没有将自己的思维融入代码，代码是程序员思维智慧的结晶。 当我们拿到这一个小功能的时候，我们首先一看，这方面的知识自己准备不足，于是就上网找去了。假如我们去想一下如何去解决，我们解决的方法一般会有两种， 第一种是自己会从网上或者是书中找到类似的代码，第二种就是请教别人指点，这种方法感觉不太可能，因为在工作中，大家都很忙，相互讨论帮忙很少的。上网搜 的时候我们会经常出现这样的现象：看到这个要编写的程序，感觉自己没什么思路，自己从网上找，找了半天我们收获不大，看了很多实现的方法，但是我们花很长 的时间去理解，这样虽然把问题搞出来了，然后就去玩去了。有些时候运气好，想找的问题正好有这类问题的解决方法，那我们就直接把代码搬过来，搞定！所以我 们就一直这样循环下去，到最后我们什么也没有留下，下面一幅图就显示我们”菜鸟”程序员的现状. (这一幅很有寓意的图) “大 神” 程...
阅读全文

静下来学习,放松方式资源推荐

发布于
　　 如果你想，学习在线课程 　　edX——在线学习世界上最顶尖大学的精品课程。 www.edx.org/ 　　Coursera——学习世界上最好的课程，在线并且免费的哦~ www.coursera.org 　　Coursmos——随时随地在任何电子设备上，学习微课程。 www.coursmos.com 　　Highbrow——每天向你的邮箱发送可以轻松消化的微课程。 www.gohighbrow.com/ 　　Skillshare——通过在线课堂和项目，释放你的创造力。 www.skillshare.com 　　Curious——通过在线视频课程来提升你的技能。 curious.com 　　Lynda——学习科技，创意和商业技能。 www.lynda.com/ 　　CreativeLive——从世界顶尖的专家那里免费学习创意课程。 www.creativelive.com 　　Udemy——在线学习现实世界的技能。 www.udemy.com 　　 如果你想，学习如何编程 　　Codecademy——免费学习交互式编程（很赞） www.codecademy.com 　　Stuk.io——从零开始学习编程。 https://stuk.io/ 　　Udacity——获得受大公司认可的微学历。 www.udacity.com/ 　　Platzi——关于设计，营销和编程的流媒体在线直播课程。 https://platzi.com/ 　　Learnable——学习网络开发的最好方式。 https://learnable.com/home 　　Code School——即刻动手学习编程。 www.codeschool.com/ 　　Thinkful——通过1对1的辅导来拓展职业生涯。 www.thinkful.com/ 　　Code.org——通过简单的教程来开始学习。 http://code.org/ 　　BaseRails——掌握Ruby on Rails和其他网络开发技术。 www.baserails.com 　　Treehouse——学习HTML，CSS，iPhone apps和更多编程语言。teamtreehouse.com 　　One Month——一个月学会编程和网络应用开发。 https://onemonth.com 　　Dash——学做酷炫的网站。 http...
阅读全文

工薪族你真的懂什么是创业吗

发布于
　　先讲一讲工薪族创业的3个误区： 　　1.很多工薪族想一步到位成为企业拥有人，做老板。 　　他也许也能筹到资金、也许也能找到项目，也有能力开个商店、也有能力装修、也有能力雇员工……都可以。他以为这样可以一步到位成为生意拥有人。但是他真的不知道这里面白手起家的风险非常大而且他往往这个时候，他自己没有技能、没有经验，就盲目去投资想做一个生意拥有人，所以99%就倒闭。所以请恕我直言，凭你的资金、凭你的项目、凭你的技能、凭你的关系，你怎么知道你就是未来那1%?今天我们周围很多朋友想做投资的，他们的失败率几乎就是100%。这几年你们很少见到我们周围有人，你的朋友、你的亲属，靠白手起家做的很好是不是?而且很多人赔了很多钱。 　　2.盲目辞职成为一个自由职业者。 　　你首先要考虑，你有没有足够的技能使得你能在这个象限中生活的很好。如果你所拥有的技能不是很赚钱;或者虽然很赚钱，但你的技能在同行间不够出类拔萃;或者你的年龄优势正在丧失，你都很难在这个象限生活的很好。技能或经验关系不足不能靠自由职业谋生。很多人盲目成为自由职业者，然后发现过得还不如工薪族。 　　3.更不要盲目的以为自己是投资者。 　　有个5、6万块钱就想做投资者，盲目把货币抛出去，想做投资者，充其量是个投机者。没有哪个有5、6万买股票说买而不卖的，这叫炒股。买而炒这叫投机者，买而不炒的叫投资者。不成熟、没那么多资本、眼光还不够都不能成为投资者。你真的有很多钱，购买一个绩优股放在那儿，每年就靠年底这个企业的股票分红、配股，你觉得比银行存款要好。这叫投资者象限。 　　所以作为一个工薪族，你不要盲目的靠自由职业谋生，你也不要盲目的投资做生意，你更不要自以为你自己是投资者。 　　盲目进入自由职业者象限，你没有技能、没有经验也不行;你盲目去做生意，你想白手起家，风险太大了;你想盲目进入投资者象限，你没有本钱，你充其量是个投机者。 　　工薪族如何达到财务自由 　　第一，积累。 　　要非常珍惜你工薪族的生涯。打工不是你一辈子的目的，但它是很好的一段时光。 　　1.学习 　　利用上班时间学习某种技能，一种就可以，把它学精。一旦你做自由职业，才没时间学习。 　　2.关系 　　不要图宽，要专。抓住一个领域，做某一行业的通盘手，多积累帮你赚钱的人，而不是帮你花钱的人;也要靠一个组织，今天靠个人积累关系很难，有个后台(大单位、大机构)给你撑...
阅读全文

《爱的博弈》约翰·戈特曼 (John Gottman)

发布于
　　20世纪最具影响力的心理治疗大师、美国“婚姻教皇”约翰·戈特曼亲密关系四部曲之三，美国亚马逊热销13年，让婚姻持久保鲜的人际关系圣经。 　　 　　揭示关于爱的谜团：该如何定义爱情？为何有的爱情持久，有的早逝？该如何建立信任、避免不忠与背叛？用科学的答案教你把握爱情的来龙去脉，识别暗示爱情冷却的蛛丝马迹， 修复被生活磨损褪色的关系，让一段感情重新焕发活力。 　　源自实验室中对近700对伴侣所做的科学研究，收录了独具开创性的理论、大量丰富翔实的案例和测试题，介绍了在婚姻与爱情中如何衡量信任、应对背叛。 　　适用于已婚、恋爱中的人士及希望提高人际交往技能的人群。 　　 下载： 爱的博弈.约翰·戈特曼(John Gottman).pdf.zip
阅读全文

利用cgroup对docker进行全局资源限制(CPU, 内存, IO读写等限制)

发布于
我们购买的VPS一般资源属于共享的，商家往往会在TOS说明，禁止长期占用资源，超过百分之多少会进行停机处理等。而我们运行服务时，可以先自行对资源进行合理限制，防止程序异常占用资源导致被商家停机。 使用docker部署服务时，通常可以在docker run后面加上--cpus等参数对单个服务进行资源限制，而随着服务部署的越来越多，每个服务的限制往往略显麻烦。 这时候可以考虑使用全局资源限制，即针对所有docker服务，限制总体的资源占用。具体操作如下： 编写systemd配置： cat << EOF > /etc/systemd/system/limit-docker.slice [Unit] Description=Slice with IOBandwidthLimit and CPUQuota for docker Before=slices.target [Slice] CPUQuota=300% MemoryMax=4G IOReadBandwidthMax=/dev/vda3 1000M IOWriteBandwidthMax=/dev/vda3 500M EOF 值得注意的是，上面的配置需要根据实际情况修改（不可直接复制粘贴使用） 配置中的CPUQUota=300%，表示使用3个核心的CPU。 MemoryMax=4G，表示最大限制使用4G内存，超出会中止服务。 IOReadBandwidthMax和IOWriteBandwidthMax分别表示限制磁盘读和写的速度为1G/s和500M/s，针对的磁盘设置为/dev/vda3 编辑docker配置文件 /etc/docker/daemon.json ，加入上面的配置： {     "cgroup-parent": "limit-docker.slice" } 使配置生效： systemctl daemon-reload systemctl restart docker
阅读全文

世界尽头与冷酷仙境 - 村上春树

发布于
　　《世界尽头与冷酷仙境》（日语：世界の終りとハードボイルド・ワンダーランド），台湾译作《世界末日与冷酷异境》，是日本作家村上春树的长篇小说，发表于1985年，获得了当年的谷崎润一郎奖。 　　大陆出版的译本由林少华翻译，台湾及香港出版的译本则由赖明珠翻译。 虽然销量和影响不及《挪威的森林》，本书一直被认为是作者最杰出的小说。 　　 　　小说共四十章，以第一人称叙述。小说结构采用了作者常用的形式，由两个似乎完全不相干的故事情节组成，两条情节交叉平行地展开。单数二十章为“冷酷仙境”，双数二十章为“世界尽头”。两个故事看似各不相干，但细览之下，便会发现两个故事中的“我”本质上是一个人的一分为二。“冷酷仙境”中的“我”是实际存在的可视世界，“世界尽头”的“我”是潜意识中的不存在世界。“我”处于自我分裂的状态中，对一切的动摇不定感到无所适从。悲剧正是由于“我”对两个世界都无力改变和迷惘无奈而产生。两条情节均极其荒诞，而小说主题极其严肃，用变形的手法写出作者对当代资本主义社会的认识，具有相当强烈的反资本主义思想。 　　“冷酷仙境”部分富有美式侦探小说和科幻小说色彩，情节曲折而紧张；而“世界尽头”则能看到卡夫卡作品《城堡》的影子，较为平缓而压抑。 　　 冷酷仙境 　　背景是东京，“我”是一名“计算士”（从事资料加密工作的虚构职业），从属于“组织”。“我”接受了一个躲在地下的老科学家交付的计算任务，并获赠一个奇特的独角兽头骨。为此去图书馆借阅资料时，同容貌姣好却因“胃扩张”食欲惊人的女馆员相识继而相亲。之后，一高一矮两个奇怪的强盗破门而入，逼“我”交出兽骨与数据，并将“我”的肚皮划开一道口子。养伤时，老科学家的孙女前来告知其祖父处境危险，请“我”前往营救。随即两人一道潜入“夜鬼”出没的地下，一路惊心动魄险象环生。当终于找到老人的时候，却得知“我”是老人的实验物件，而且由于老人的计算错误，“我”24小时后离开人世，转往另一世界即“世界盡頭”。之后心灰意冷的“我”同图书馆女馆员度过亢奋而空虚的几个小时，而后驱车前往荒凉的码头，静候生命尽头的来临。 　　 世界尽头 　　世界尽头是一个被高墙与世隔绝的镇子，我在进入镇子的时候像其他镇民一样放弃了自己的影子。镇子里气氛祥和，居民相安无事，然而他们都失去了影子，也失去了心，没有感情也没有爱。不能完全失去心的居民会被放逐到森林深处过着...
阅读全文