《Python 3网络爬虫开发实战》崔庆才

发布于

　　本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实现数据爬取，最后介绍了pyspider框架、Scrapy框架和分布式爬虫。

　　

　　本书适合Python程序员阅读。

　　

下载：Python 3网络爬虫开发实战.pdf.zip | 源代码_Python 3网络爬虫开发实战.zip

评论

发表评论

Popular Posts

随身WiFi折腾指南: 解锁、刷机与DIY

发布于
市面上随身Wifi的产品层出不穷，我也入手了两个，记录一下折腾的步骤。 目前较多的是中兴微和高通骁龙410两个版本，对于只是想插自己的卡的用户，推荐购买中芯微芯片轻型Linux系统的随身wifi，因为这种产品在稳定性和发热量方面表现较好，无需额外折腾；如果用户想搞机，推荐购买高通骁龙410纸盒系列的随身wifi，这种产品拥有很高的可玩性，可以刷出各种不同的操作系统或软路由等，相对灵活。 拿到手根据以下步骤折腾： 1. 解锁sim卡槽密码 获取解锁sim卡槽密码，这是进行手机解锁操作所必要的步骤之一 http://192.168.0.1/goform/goform_get_cmd_process?cmd=unlock_network_code 2. 移除商家远控后台 开启ADB命令。该命令通常用于与手机进行调试和控制 http://192.168.0.1/goform/goform_set_cmd_process?goformId=SET_DEVICE_MODE&debug_enable=1 当用户使用`nv`命令时，表示正在修改或查询机器的某些固件参数。以下是对所有出现的`nv`命令的解释： - `nv show`：查看所有可设置的参数； - `nv set mqtt_host=127.0.0.1`：将 MQTT 服务器的主机地址设置为本地； - `nv set fota_updateMode=0`：禁止自动下载固件更新； - `nv set os_url=http://127.0.0.1`：将系统软件更新服务器的地址设置为本地； - `nv set lpa_trigger_host=127.0.1`：将选定的服务地址设置为本地； - `nv set safecare_hostname=127.0.0.1`：将 Safecare 服务器的主机地址设置为本地； - `nv set safecare_mobsite=http://127.0.0.1`：将手机站点地址设置为本地； - `nv set TM_SERVER_NAME=127.0.0.1`：将 TM 服务器的主机地址设置为本地； - `nv set lpa_trigger_updata_url=/`：将选定的服务地址设置为根目录； - `nv set lpa_trigger_event_url=/`：将...
阅读全文

Cromite - 极度注重隐私的Chromium浏览器

发布于
Cromite 是基于Bromite的Chromium分支，具有内置的广告拦截支持和隐私保护功能。  Cromite 适用于 Android arm64-v8a、arm32-v7a 和 x86_64、Nougat 及更高版本（最低 v8.0，API 级别 26）、Windows 和 Linux 64 位。 Cromite的目标是 限制浏览器内置的可用作跟踪用户习惯平台的功能，如果技术上不可行，则禁用它们并让用户选择是否重新启用它们  限制浏览器与其制造商之间的紧密结合 在具体的使用过程中，我发现确实能最大程度的保证隐私，甚至出现我在NoVNC中按Ctrl+C不能复制内容的情况（估计是拦截了可能出现的按键泄露风险）。所以我的结论是，如果为了极度注重隐私，可以考虑这款浏览器。而普通的用户，也许Chromium或另一款Thorium更值得尝试。 下载页：https://github.com/uazo/cromite/releases  
阅读全文

《赤い涙 》灼眼的夏娜剧场版插曲

发布于
映画「劇場版　灼眼のシャナ」挿入歌 「赤い涙」は劇場版「灼眼のシャナ」で重大なポイントとなっている場面なので本人曰く「そのシーンをより一層盛り上げられるような楽曲にしたかった」と発言している。 [flash]http://player.youku.com/player.php/Type/Folder/Fid/2890603/Ob/1/Pt/5/sid/XNjY1ODE4ODA=/v.swf[/flash] 赤ぃ淚 灼眼的夏娜剧场版 词/编曲：川田まみ 演唱：川田まみ yu u ya ke so ra ga so me ru ma chi to ki mi no yo ko ga o na ni wo o mo i na ni wo mi tsu me na ni wo kan ji te i ru no ta to e ba so no sa ki ni bo ku ha chi no a su ga mi e na i na ra bo ku wa ki mi no te wo ni gi ri do ko ma de mo ka ke te u ku yo e ga o to yu me to i to shi sa to yo ro ko bi wo to ri mo do shi te i` ma de mo o so ku na n i ka ta chi a ru mo no so re ta ke ga ko ko ni i ru su be te na n te da re mo se me na i ka ra yu u gu re do ki wa a se ru ko ko ro wa su re sa se to ku i so ga xi yi na da re o ki i te xia xi n ni xi da yo mo de ko no ba shiyo ga su ki da to ha na shi te ta ki mi no ho ho wo tsu ta u a ka i na mi da mo u ni do to a e na i yo ka n ga shi te ta na mi da mo u so mo ka na shi mi mo ko u ka i mo su be te ki mi to ko ko ...
阅读全文

求职面试时常被问到的65个问题与技巧性回答

发布于
　　 1、请你自我介绍一下你自己？ 　　回答提示：一般人回答这个问题过于平常，只说姓名、年龄、爱好、工作经验，这些在简历上都有。其实，企业最希望知道的是求职者能否胜任工作，包括：最强的技能、最深入研究的知识领域、个性中最积极的部分、做过的最成功的事，主要的成就等，这些都可以和学习无关，也可以和学习有关，但要突出积极的个性和做事的能力，说得合情合理企业才会相信。企业很重视一个人的礼貌，求职者要尊重考官，在回答每个问题之后都说一句 “谢谢”，企业喜欢有礼貌的求职者。 　　 2、你觉得你个性上最大的优点是什么？ 　　回答提示：沉着冷静、条理清楚、立场坚定、顽强向上、乐于助人和关心他人、适应能力和幽默感、乐观和友爱。我在XX经过一到两年的培训及项目实战，加上实习工作，使我适合这份工作。 　　 3、说说你最大的缺点？ 　　回答提示：这个问题企业问的概率很大，通常不希望听到直接回答的缺点是什么等，如果求职者说自己小心眼、爱忌妒人、非常懒、脾气大、工作效率低，企业肯定不会录用你。绝对不要自作聪明地回答“我最大的缺点是过于追求完美”，有的人以为这样回答会显得自己比较出色，但事实上，他已经岌岌可危了。企业喜欢求职者从自己的优点说起，中间加一些小缺点，最后再把问题转回到优点上，突出优点的部分，企业喜欢聪明的求职者。 　　 4、你对加班的看法？ 　　回答提示：实际上好多公司问这个问题，并不证明一定要加班，只是想测试你是否愿意为公司奉献。 　　回答样本：如果是工作需要我会义不容辞加班，我现在单身，没有任何家庭负担，可以全身心的投入工作。但同时，我也会提高工作效率，减少不必要的加班。 　　 5、你对薪资的要求？ 　　回答提示：如果你对薪酬的要求太低，那显然贬低自己的能力；如果你对薪酬的要求太高，那又会显得你分量过重，公司受用不起。一些雇主通常都事先对求聘的职位定下开支预算，因而他们第一次提出的价钱往往是他们所能给予的最高价钱，他们问你只不过想证实一下这笔钱是否足以引起你对该工作的兴趣。 　　回答样本一：我对工资没有硬性要求，我相信贵公司在处理我的问题上会友善合理。我注重的是找对工作机会，所以只要条件公平，我则不会计较太多。 　　回答样本二：我受过系统的软件编程的训练，不需要进行大量的培训，而且我本人也对编程特别感兴趣。因此，我希望公司能根据我的情况和市场标准的水平，给我合理的薪水。...
阅读全文

伤不起的盖茨比——那些年，我们没逆袭到的女神

发布于
年轻的时候我时常被这样一种姑娘吸引，她们穿着简单的T恤或是套头衫，拎着不知名的手袋踩着平底鞋，出现在经济型小汽车的驾驶位或者是公共交通工具甚至是自行车上，和她们出去吃饭的时候可以毫无压力的去麻辣烫和烤串。当然，最重要的一条，她们都足够漂亮，漂亮到需要克服太多诱惑拒绝无数男人，非常努力地才能过上普通女孩的生活。当跟她们同等姿色的女孩拎着迪奥坐在奥迪的副驾驶上的时候，我觉得她们简直就像天使一样。 　　 　　我想，当出身贫寒身无分文的普通军官Gatsby最初和Daisy女神相恋的时候，他一定和我曾经一样，把那些看似遥不可及的女神寄予平凡的自己的那份感情当做一种恩赐，认定她一定是最浪漫最潇洒最不在乎物质的姑娘。 　　 　　Gatsby和我都错了。 　　 　　 感觉型和价值型 　　 　　从感性和理性的维度，我们一般把姑娘简单地分为两类，如果说所谓感性的姑娘是更注重感情的感觉型，那理性的姑娘就是更务实的价值型。 　　 　　可现实远比这复杂的多。盖茨比们忽略了一批高段位选手，比如Daisy和我开头提到的那些天使们中的大部分，借用某顶级PUA的说法，我们称其为伪装成感觉型的价值型。她们深知男人们固有的天真导致他们普遍青睐感觉型的姑娘，毕竟无论财富多寡价值高低，谁都更渴望一个女人最终选择了自己是因为喜欢跟自己在一起的感觉。和那些情商过低到处晒名牌强调宁愿在宝马里哭泣的姑娘相比，让男人觉得更喜欢在自行车上面笑的姑娘，最终往往却更容易坐在宝马里。 　　 　　我相信，Daisy五年前是爱过Gatsby的，可怜Gatsby却把那短暂的激情误以为成终生不渝的一生所爱，如果他战死在沙场，这将是一段完美的爱情故事，就像泰坦尼克号一样。 　　 　　所以，即使当Gatsby自以为成功逆袭回到Daisy身边的时候，他其实依然也只是那短暂的激情。Daisy价值型的内在属性，那份激情是远不足以让她彻底放弃Tom，孩子及已有的生活圈子和习惯，更不用说考虑到Gatsby的巨额财富来路不明（在原著中这是一个deal breaker，电影中为了使Daisy的形象更复杂被弱化了）。可她伪装出来的感觉型却令盖茨比无比相信，自己最爱的人是他。 　　 　　其实在某种程度上，绝大多数女性随着年龄的增长，在长线关系中都会逐渐向价值型逐渐靠拢，她们内心深处对安全感的渴望在岁月的流逝中不断飙升，稳定和可预见性最终会压到一切成为决定...
阅读全文

人类的十个有趣心理效应

发布于
　　心理效应，是指大多数人在相同的情况下或对某种相同的刺激，产生相同或相似的心理反应的现象，它具有普遍性，也具有差异性。 　　 一、罗密欧与朱丽叶效应 　　莎翁的名著《罗密欧与朱丽叶》的故事几乎人尽皆知：罗密欧与朱丽叶相爱，但由于双方世仇，他们的爱情遭到了极力阻碍。但压迫并没有使他们分手，反而使他们爱得更深，直到殉情。心理学把这种爱情中的人儿“越是艰险越向前”的现象称为“罗密欧与朱丽叶效应”，即，当出现干扰恋爱双方爱情关系的外在力量时，恋爱双方的情感反而会加强，恋爱关系也因此更加牢固。这是有关爱情的一种“怪”现象。 　　认知失调理论很好地解释了这个颇具罗曼蒂克色彩的效应。当人们被迫做出某种选择时，人们对这种选择会产生高度的心理抗拒，而这种心态会促使人们做出相反的选择，并实际上增加对自己所选择对象的喜欢。因此，人们在选择恋爱对象时，由于人们对父母反对等恋爱阻力的心理抗拒作用，反而会使双方的感情更牢固。当这种恋爱阻力不存在时，双方却有可能分开。经历过重重阻力和生死考验的爱情，不一定能抵得住平凡生活的冲击。当爱情的阻力消失时，也许曾经苦恋的两个人反而失去了相爱的力量。 　　 二、从众心理 　　学者阿希曾进行过从众心理实验，结果在测试人群中仅有1/4~1/3的被试者没有发生过从众行为，保持了独立性。可见它是一种常见的心理现象。从众性是人们与独立性相对立的一种意志品质；从众性强的人缺乏主见，易受暗示，容易不加分析地接受别人意见并付诸实行。 　　生活中有不少从众的人，也有一些专门利用人们从众心理来达到某种目的的人，某些商业广告就是利用人们的从众心理，把自己的商品炒热，从而达到目的。生活中也确有些震撼人心的大事会引起轰动效应，群众竞相传播、议论、参与。但也有许多情况是人为的宣传、渲染而引起大众关注的。常常是舆论一“炒”，人们就易跟着 “热”。广告宣传、新闻媒介报道本属平常之事，但有从众心理的人常就会跟着“凑热闹”。 　　不加分析地“顺从”某种宣传效应，到随大流跟着众人走的“从众”行为，以至发展到“盲从”，这已经是不健康的心态了。多一些独立思考的精神，少一些盲目从众，以免上当受骗，方为健康的心理。 　　 三、晕轮效应 　　晕轮效应，又称“成见效应”，这种强烈知觉的品质或特点，就像月亮形式的光环一样，向周围弥漫、扩散，从而掩盖了其它品质或特点，所以就形象地称之为光环效应。 　　有时候...
阅读全文

电话销售技巧8:如何绕过前台

发布于
( 11:34:26) 主持人说：这里有很多的商友开始问了这样一个问题，如何绕过前台找到真正愿意花钱买这个产品的人？很多人前台接到电话就挂掉了，如何绕过她们？ ( 11:35:41) 田淑红说：那是要靠你的声音了，很多面对面的话销售人员会西装革履，也许这个公司的员工，也许就是在你这幢大楼里办公的人，那出入大门不会有人挡你，那是民工的话肯定会挡你，你在电话里面声音要是一种不会让她拒绝的人，那你要塑造成是一个部门的人，你要体现你的强势、尊贵、地位的高，其实前台小姐她是有自卑的心理，她在公司里面是最高的位置是最低的位置， ( 11:35:50) 田淑红说：其实每个领域里面他都是专家，前台小姐有自卑的心理，你声音塑造成老板，找他有些事情，她是做服务的，她会尽心尽力帮你找到号码，要找到某个人，所以其实看很多的老总，我有一次打1860，我找一个运营商的技术工程师，我忘记他的号码了，他是客户服务部的人，我打1860，我要找这个人，她说我们不知道，我说就是你们部门负责技术的，我是他朋友忘记她号码了，我说有非常急的事情找她，你让他赶紧给我回电话， ( 11:35:57) 田淑红说：那她马上就就说把我的电话记下落，马上找到之后给你回电话，那她觉得我要找的人本身是职位比她高，那我们要找人的话，如果前台能解决的话那肯定是比她们更高的人，肯定是这个人的职位比前台职位高，如果误了这个人前台小姐就失职了，那我要找这个负责人，我现在没有号码，你赶紧帮我找到，她会天哪，我无法拒绝他，要是误了这个人我怎么承担，他会觉得我不是一个骗子， ( 11:36:35) 田淑红说：那你就是说我是田淑红，我要找你们技术工程部的负责人，我忘记号码，我要号码，她说有可能说我忘记号码了，你就问大概什么时候可以查到，那她会说五分钟，那我就说可以等五分钟，你完全可以在电话里面塑造一个形象出来。 ( 11:39:02) 主持人说：田老师的声音非常甜美，如何塑造像田老师这样甜美的声音，女性业务员该具备什么样的声音，男性业务员应该具备什么样的声音？ ( 11:39:11) 田淑红说：其实我是北方人，很多人都觉得我是大岔子味，我可能是打电话出来的，我做过一线电话销售，我的职业生涯决定了，没有人专门教过我声音课，我记得非常清楚，当时三个月我的声音全部哑掉，当时很恐怖，是不是我会失声了，当...
阅读全文

Alexa互联网信息公司中文官方网站

发布于
Alexa互联网是首屈一指的免费提供网站流量信息的公司。创建于1996年，我们一直致力于开发网页抓取和网站流量计算的工具。总部位于美国旧金山的Alexa互联网是亚马逊集团（amazon.com）旗下的子公司之一。 　　 Alexa中文官方网站（cn.alexa.com）是否提供 www.alexa.com 上的所有信息？ Alexa中文官方网 cn.alexa.com是Alexa Internet的唯一中文官方网站。 　　目前Alexa中文官方网站（cn.alexa.com）只提供 www.alexa.com. 上“网站信息”的部分内容。 　　我们正在加紧添加更丰富的内容，为您提供更好的服务。 网站地址： http://cn.alexa.com/
阅读全文

拒绝道德绑架，这才是真正的公益广告

发布于
　　“我要抱不上孙子，我死不瞑目！” 　　“考这么点分，你对得起谁？” 　　“妈要不是为了你，早就离婚了！” 　　“老人家上车你不会让座啊，你懂不懂礼貌啊？” 　　给人心理压力强迫别人做自己想要他做的事情，你要不要脸啊！拒绝道德绑架！这才是真正的公益广告！看完简直神清气爽！ 　　[iframe]http://v.qq.com/iframe/player.html?vid=u031643g3wt&tiny=0&auto=0[/iframe] 　　让座、捐款等等原本都是很美好的社会美德，也确实需要宣传和弘扬以共建美好和谐的社会，我们也应该要好好响应遵守这样好的传统美德，但是如果因为不让座不给捐钱而遭受指责谩骂，那这样简直不可理喻！用圣人的标准要求普通人，用美德来要求道德义务，可笑！ 　　公交车不让座被骂 ，不给乞丐钱被骂，还有碰瓷，这可不仅仅是贪点小便宜这么简单，这简直解决了某些为老不尊的老年人的再就业问题，发展成为一个产业了，而能做出这种事的人，我敢保证他们原本就是很吝啬于帮助他人，可能最终遭身边人嫌弃只好把怨气向社会经验少的有礼貌有涵养的人撒泼。 　　郭德纲老师说过一句话：“ 其实我挺厌恶那种，不明白任何情况就让你大度的人，这种人你要离他远一点。”其实我也挺厌恶的。就好像两人吵架，围观群众根本无心思去了解事情原委，通常劝告都是各退一步，根本不会试图去理解你的委屈；更有一些领导/家长/老师，遇上孩子们有争执不问是非对错甩头就一句“一个巴掌拍不响，两个人都罚！”这些人更适合做傻逼！ 　　作为一个旁观者，可以发表任何观点，以任何形式发表不论是讲理型还是愤怒型也属个人自由，不过，最好是先了解事情原委然后依照内心的价值观判断双方孰是孰非之后再发言。你凭什么认为他人一定要别人轻而易举的原谅伤害过自己的人？ 　　以道德为砝码，要挟个人或众人不得不做某些事情，这是一种非常恶劣的行为。道德只可律己不可律人，这个道理也应该多宣传宣传好给一些人上一上课。
阅读全文

感情的瓶颈期或者说磨合期该怎么度过？

发布于
　　 磨合期和瓶颈期怎么定义？ 　　先让我建立一个简单的小模型吧。叔本华在他的《人生的智慧》一书中提出了决定凡人命运的基本三元素： 我是什么，我代表什么，和我拥有什么 。基于这样的思路，我认为人活着有三个基本的问题需要回答：我和世界的关系，我和他人的关系，以及和我自己的关系。这三个问题的关系如图一所示，我和自己的关系，影响和主导我与这个世界的关系以及与他人的关系。 　　 　　而当你和一个人走入一段亲密关系的时候，这个模型就需要有所变化。你的伴侣从其他所有人当中脱颖而出，“我和你的关系”成为了这个模型中的新元素，并且这个元素的位置和“我和自己的关系”是同等重要的。见图二。 　　 　　 常见的卡在瓶颈期的情况有两种，一种是热恋期即将结束时，另一种是两人关系从情侣升级成夫妻时。 　　 两个瓶颈 　　 从热恋过渡到相处，实际上就是图中“自我”的部分开始逐渐让出一部分给“你”的时候，是一个重新划定界限的过程。 开始恋爱之前，我们习惯了以自我为中心，向世界和他人索取。热恋的时候，由于情感和情欲上的强烈快感，我们在很大程度上放弃“自我”，完全变成以对方为中心的状态。 　　当热恋期结束的时候，我们开始意识到如果要持续之前的那种满足感和快乐，我们不能再继续保持没有自我的状态，而需要重新建立一个平衡。我们既不能单纯地保持索取的状态，而是需要开始考虑另一个人的感受，也不能一切都只是为了对方考虑，因为感情的温度和生活的现实要求不允许。 　　 而两个人从恋情到婚姻的过度，则是“你我共同体”对当下与世界与他人关系的影响，扩展到对未来与世界和他人关系上的过程。 因为婚姻会影响两人未来与世界，与他人相处的方式，生命的轨迹会因为婚姻而完全不同。本来每个个体都有对自己未来生活的规划，包括从物质上和社会关系上设定那些目标。当我们开始考虑婚姻的时候，这些目标就需要做出一定的调整，以适应和满足你我共同体的整体需要。 　　所以简单来说，热恋后的瓶颈，是从一个人变成两个人的挑战，而走入婚姻，则是从活在当下到规划未来的挑战。 　　 度过热恋后的瓶颈 　　热恋后的瓶颈，是一个重新划定界限的过程。我的工作经验当中，卡在热恋期瓶颈的伴侣们，往往是因为无法平衡好相恋中自我和他人的平衡。有些人希望保持自己的空间，有些人希望和对方更加亲密；有些人希望保持神秘感，有些人则希望知根知底；有些人希望开支和消费共同承担，有些人则希望...
阅读全文