《Python 3网络爬虫开发实战》崔庆才

发布于

　　本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实现数据爬取，最后介绍了pyspider框架、Scrapy框架和分布式爬虫。

　　

　　本书适合Python程序员阅读。

　　

下载：Python 3网络爬虫开发实战.pdf.zip | 源代码_Python 3网络爬虫开发实战.zip

评论

发表评论

Popular Posts

常用的国内外延迟测速链接（generate_204）

发布于
以下是一些常用的国内外延迟测速链接，通常返回204状态码（generate_204） 服务提供者 链接 大陆体验 境外体验 Google http://www.gstatic.com/generate_204 5 10 Google http://www.google-analytics.com/generate_204 6 4 Google http://www.google.com/generate_204 0 10 Google http://connectivitycheck.gstatic.com/generate_204 4 10 Apple http://captive.apple.com 3 10 Apple http://www.apple.com/library/test/success.html 7 10 Microsoft http://www.msftconnecttest.com/connecttest.txt 5 10 Cloudflare http://cp.cloudflare.com/ 4 10 Firefox http://detectportal.firefox.com/success.txt 5 10 V2EX http://www.v2ex.com/generate_204 0 10 ...
阅读全文

随身WiFi折腾指南: 解锁、刷机与DIY

发布于
市面上随身Wifi的产品层出不穷，我也入手了两个，记录一下折腾的步骤。 目前较多的是中兴微和高通骁龙410两个版本，对于只是想插自己的卡的用户，推荐购买中芯微芯片轻型Linux系统的随身wifi，因为这种产品在稳定性和发热量方面表现较好，无需额外折腾；如果用户想搞机，推荐购买高通骁龙410纸盒系列的随身wifi，这种产品拥有很高的可玩性，可以刷出各种不同的操作系统或软路由等，相对灵活。 拿到手根据以下步骤折腾： 1. 解锁sim卡槽密码 获取解锁sim卡槽密码，这是进行手机解锁操作所必要的步骤之一 http://192.168.0.1/goform/goform_get_cmd_process?cmd=unlock_network_code 2. 移除商家远控后台 开启ADB命令。该命令通常用于与手机进行调试和控制 http://192.168.0.1/goform/goform_set_cmd_process?goformId=SET_DEVICE_MODE&debug_enable=1 当用户使用`nv`命令时，表示正在修改或查询机器的某些固件参数。以下是对所有出现的`nv`命令的解释： - `nv show`：查看所有可设置的参数； - `nv set mqtt_host=127.0.0.1`：将 MQTT 服务器的主机地址设置为本地； - `nv set fota_updateMode=0`：禁止自动下载固件更新； - `nv set os_url=http://127.0.0.1`：将系统软件更新服务器的地址设置为本地； - `nv set lpa_trigger_host=127.0.1`：将选定的服务地址设置为本地； - `nv set safecare_hostname=127.0.0.1`：将 Safecare 服务器的主机地址设置为本地； - `nv set safecare_mobsite=http://127.0.0.1`：将手机站点地址设置为本地； - `nv set TM_SERVER_NAME=127.0.0.1`：将 TM 服务器的主机地址设置为本地； - `nv set lpa_trigger_updata_url=/`：将选定的服务地址设置为根目录； - `nv set lpa_trigger_event_url=/`：将...
阅读全文

伤不起的盖茨比——那些年，我们没逆袭到的女神

发布于
年轻的时候我时常被这样一种姑娘吸引，她们穿着简单的T恤或是套头衫，拎着不知名的手袋踩着平底鞋，出现在经济型小汽车的驾驶位或者是公共交通工具甚至是自行车上，和她们出去吃饭的时候可以毫无压力的去麻辣烫和烤串。当然，最重要的一条，她们都足够漂亮，漂亮到需要克服太多诱惑拒绝无数男人，非常努力地才能过上普通女孩的生活。当跟她们同等姿色的女孩拎着迪奥坐在奥迪的副驾驶上的时候，我觉得她们简直就像天使一样。 　　 　　我想，当出身贫寒身无分文的普通军官Gatsby最初和Daisy女神相恋的时候，他一定和我曾经一样，把那些看似遥不可及的女神寄予平凡的自己的那份感情当做一种恩赐，认定她一定是最浪漫最潇洒最不在乎物质的姑娘。 　　 　　Gatsby和我都错了。 　　 　　 感觉型和价值型 　　 　　从感性和理性的维度，我们一般把姑娘简单地分为两类，如果说所谓感性的姑娘是更注重感情的感觉型，那理性的姑娘就是更务实的价值型。 　　 　　可现实远比这复杂的多。盖茨比们忽略了一批高段位选手，比如Daisy和我开头提到的那些天使们中的大部分，借用某顶级PUA的说法，我们称其为伪装成感觉型的价值型。她们深知男人们固有的天真导致他们普遍青睐感觉型的姑娘，毕竟无论财富多寡价值高低，谁都更渴望一个女人最终选择了自己是因为喜欢跟自己在一起的感觉。和那些情商过低到处晒名牌强调宁愿在宝马里哭泣的姑娘相比，让男人觉得更喜欢在自行车上面笑的姑娘，最终往往却更容易坐在宝马里。 　　 　　我相信，Daisy五年前是爱过Gatsby的，可怜Gatsby却把那短暂的激情误以为成终生不渝的一生所爱，如果他战死在沙场，这将是一段完美的爱情故事，就像泰坦尼克号一样。 　　 　　所以，即使当Gatsby自以为成功逆袭回到Daisy身边的时候，他其实依然也只是那短暂的激情。Daisy价值型的内在属性，那份激情是远不足以让她彻底放弃Tom，孩子及已有的生活圈子和习惯，更不用说考虑到Gatsby的巨额财富来路不明（在原著中这是一个deal breaker，电影中为了使Daisy的形象更复杂被弱化了）。可她伪装出来的感觉型却令盖茨比无比相信，自己最爱的人是他。 　　 　　其实在某种程度上，绝大多数女性随着年龄的增长，在长线关系中都会逐渐向价值型逐渐靠拢，她们内心深处对安全感的渴望在岁月的流逝中不断飙升，稳定和可预见性最终会压到一切成为决定...
阅读全文

当面试的时候被问“你期望的薪资是多少”的时候，应该怎么回答啊？

发布于
让我们这么来看这个问题 　　 1 如果你是应届生，then只要满足初-中等生存要求（上班1小时路程内非蚁族合租单元房，平常买菜做饭，每2周可以和伴侣出去吃饭一次）+500的现金就从了吧，这已经算很好了。 　　 2 如果你有1-2年工作经验，这时候你可以考虑要个价格了。 a新工作的**月**收入比你现在的**月**收入高15%，如果你只是想要换个工作的话。为什么说月收入，因为双薪奖金等，有相当几率是跟着月收入走的，也就是说你和hr单纯谈月收入，那么也许涨幅只有10%，但是考虑到因为月收入这个基数提高带来的奖金双薪等的提高，那么涨幅也许更高。 b和你现在一样，如果这个工作/职位/公司特别有吸引力的话。也就是说所谓的升职跳，攀高枝。 c升职跳25%**起** //请注意，除非你攀上了高枝（民企去外企一类）否则不要在工作的头30个月考虑跳槽// 　　 3 如果你有3年以上工作经验 a没有20%-30%的涨幅请勿考虑。 b如果不是现公司特别不好，不是升职跳不考虑离开。 c如果不是升职跳且工资大幅（35%以上）千万别降低自己的公司水准，如欧美企跳日韩企，500强跳非500强等。 这时候我们来看如何谈工资： 　　如果你的对面是 猎头 那么首先你要明白，但凡是好找/好招的职位不会动用猎头的，毕竟目前知道最少的也要给猎头1个月工资作为酬劳，所以你这个职位不好招。既然如此，那么当猎头问你工资的时候，你可以直接有礼貌但坚定的告诉他，我1不明白工作职责；2不清楚组织结构；3不知道公司具体业务情况，如何能讲出我要多少钱？如果你坚持，我可以给个数字你填表用，但是这个数字肯定是要调整的。有些猎头会忽悠你，说工作职能我告诉你么，但是你放心，只要不是HR的职位，你随便一个专业的工作职能问题足够让猎头卡壳不知道如何回答，自然也就可以击退之。但是请务必询问：之前送过几个候选人给用人企业？死多少？活多少？为啥死，为啥活？这个职位难在哪？（都用到猎头了）还有薪酬范围是多少？我面试的时候需要注意什么？ 　　如果你面对的是 HR 除了姿态低点，语言柔软点别的请copy猎头。但是这里你要明白，hr是很清楚该职位薪酬范围的，你可以用刚才提到的“我不清楚xxx的”招数忽悠他，但是你真的需要个比较靠谱的数字了，个人推荐20%-30%涨幅。这时候通过两轮面试应该已经对职位要干嘛有相当的了解了，否则说明你的面试过程不用心。...
阅读全文

优化PC端B站(Bilibili)免登录观看体验

发布于
B站目前看视频30秒会自动暂停并弹出登录框，同时查看评论也需要登陆，这让不喜欢登录的我来说用起来十分不方便，为了提高观看体验，可以试试油猴脚本 安装油猴扩展： https://violentmonkey.github.io/get-it/ 安装完成后，使用以下三个脚本： 防止视频被自动暂停及弹出登录窗口 在未登录的情况下自动并无限试用最高画质 在未登录的情况下照常加载评论
阅读全文

mihomo各平台客户端下载(windows, android, macos)

发布于
mihomo是一个学习工具，目前客户端众多，本文只节选每个平台上够用的版本。 以下搜集各平台版本的下载链接： Windows X64: Clash.Mini_v0.2.2_x64.zip X86:  Clash.Mini_v0.2.2_x86.zip Mac ClashX.Meta.zip Android ARMv8: cmfa-2.11.11-meta-arm64-v8a-release.apk ARMv7: cmfa-2.11.11-meta-armeabi-v7a-release.apk 其中如果遇到缺失GeoIP或GeoSite文件的，可通过以下链接下载： GeoIP.dat GeoSite.dat Country.mmdb 浏览器扩展可以使用： zeroomega-3.3.23.crx zeroomega-3.3.23.xpi
阅读全文

《爱情能否专一》周国平

发布于
　　爱情的专一可以有两种含义，一是热恋时的排他性，二是长期共同生活中彼此相爱的主旋律。在这两种含义之外苛求爱情的专一，我认为是对人性的无知。 　　向天下情侣和仍然相爱的夫妇问一个问题：你能否容忍你的情人、妻子或丈夫在爱你的同时还对别的异性动情？我相信，回答基本上是否定的。这么说来，爱情应该是专一的了。 　　再问第二个问题：你在爱你的情人、妻子或丈夫的同时，能否保证对别的异性决不动情？我相信，如果你足够诚实，回答基本上也是否定的。这么说来，爱情又很难是专一的了。 　　其实，专一是爱情的要求，却不是每一个有血有肉的男人和女人的本性。凡是身心健康的男女，我的意思是说，凡是不用一种不自然的观念来压抑自己的男女，在和异性接触时都会有一种和同性接触所没有的愉快感受，有时这种感受还会比较强烈，成为特别的好感，这乃是一个基于性别差异的必然倾向，这个倾向不会因为一个人已经有了情人或结了婚而完全改变。 　　所以，不妨说，天下的男女在不同程度上都是花心的。那么，天下的爱情岂不都岌岌可危了吗？我想不会的，原因是在每一个人身上，一方面固然可能对不止一个异性发生愉悦之感，另一方面却又希望得到专一的爱情，二者之间产生了一种微妙的平衡。在一定的意义上可以说，忠贞的爱情是靠了克制人性的天然倾向才得以成全的。不过，如果双方都珍惜现有的爱情，这种克制就会是自愿的，并不显得勉强。 　　性爱的排他性，所欲排除的只是别的同性对手，而不是别的异性对象。它的根据不在性本能中，而在嫉妒本能中。事情够清楚的：自己的所爱再有魅力，也不会把其他所有异性的魅力都排除掉。在不同异性对象身上，性的魅力并不互相排斥。所以，专一的性爱仅是各方为了照顾自己的嫉妒心理而自觉地或被迫地向对方的嫉妒心理做出的让步，是一种基于嫉妒本能的理智选择。 　　可是，什么是嫉妒呢？嫉妒无非是虚荣心的受伤。 　　虚荣心的伤害是最大的，也是最小的，全看你在乎的程度。 　　人因为孤独而寻求爱情。寻求爱情，就是为自己的孤独寻找一个守护者。他要寻找的是一个忠实的守护者，那人必须是一心一意的，否则就不能担当守护他的孤独的使命。为什么呢？因为每一个孤独都是独特的，而在一种多向的照料中，它必丧失此独特性，沦为一种一般化的东西了。形象地说，就好比一个人原想为自己的孤独寻找一个母亲，结果却发现是把它送进了托儿所里，成了托儿所阿姨所照料的众多孩子中的一个普通孩子。孤独和爱...
阅读全文

使用Kiss Translator油猴脚本实现自然口语化网页翻译

发布于
使用Kiss translator的油猴脚本, 结合硅基流动的服务, 实现高度口语化的翻译. 安装油猴扩展:  https://violentmonkey.github.io/ 安装Kiss Translator脚本:  https://greasyfork.org/zh-CN/scripts/472840-kiss-translator 设置OpenAI翻译接口: https://api.siliconflow.cn/v1/chat/completions 自定义提示词（同时设置系统提示词和用户提示词）: 网页翻译 (仅输出译文) 您是一位专业的翻译助手，您的任务是将网页内容准确、自然、且富有感染力地翻译成目标语言。您尤其擅长捕捉原文的情感和语气，并将其自然地融入到译文中。 翻译请求指示: 请将以下 {{from}} 文本翻译成 {{to}}。 您的输出必须仅包含译文本身，请勿包含任何前言、解释或其他非译文内容。 翻译要求 (请严格遵守):     语言风格: 地道的中文母语者日常口语风格，译文 自然流畅，避免书面语和机器翻译痕迹。     语气情感: 略微非正式的语气，充分传达原文用户的 热情和真诚的赞赏 之情。     表达技巧: 巧妙融入地道的中文俗语和口语化表达 (例如 “压榨”、“忍痛割爱” 等风格)，使译文生动活泼，贴近真实对话。     翻译策略: 避免生硬字面直译，理解原文核心意思和情感，用自然流畅中文 重新组织表达 (神形兼备)。 **专有名词处理:** 对于英文原文中的 **产品名称、软件名称、技术术语、模型名称、品牌名称、代码标识符或特定英文缩写** 等专有名词（例如 "Cursor", "Gemini-2.5-pro-exp", "VS Code", "API", "GPT-4"），**必须保留其原始英文形式，不进行翻译**。请将这些英文术语自然地嵌入到流畅的中文译文中。 * **重要示例:** 如果原文是 "Add Gemini-2.5-pro-exp to Cursor"，一个好的翻译应该是像 “快把 Gemini-2.5-pro-exp 加到 Cursor 里试试！” 或 “推荐将 Gemini-2.5-pro-ex...
阅读全文

解决Ubuntu桌面上Free Download Manager无法打开的问题

发布于
在 Ubuntu Desktop 24.04 LTS 上安装 Free Download Manager 后，点击其图标时程序无法打开。这个问题通常与 Ubuntu 系统更新后的兼容性有关。 新的 Ubuntu 更新可能会影响 Free Download Manager 的某些安全功能，例如 SSL 和 TLS。   解决方法是安装 `libxcb-cursor0`。请在终端中运行以下命令： sudo apt install libxcb-cursor0  
阅读全文

ClipX - 小巧的剪贴板增强软件

发布于
一个小巧的剪贴版管理器。托盘方式显示，能够实时将剪贴版内容用文本显示在剪贴版历史中，方便你选择其中一项以恢复到剪贴版中。 程式小而美：ClipX 主程式只有 108KB，常驻时占用约 1MB 的记忆体，可以说非常的节省资源。常驻在右下角系统工具列时，用滑鼠左键点选会显示你的複製历史清单，用右键点选会显示功能表。 不须设定：「Configure」设定中，第一个项目可以让你设定要记录多少次的複製（从4～1024次），也可以勾选介面最下方的「Run ClipX on Starup」，让ClipX开机自动启动，既然要追求剪贴簿的方便性，当然最好设为开机启动，而且ClipX又非常节省资源。至于其它的设定项目，一般使用者只要依照预设即可顺利使用。 方便的历史清单：预设使用「Ctrl + Shift + V」来开启複製历史清单，你可以用键盘或滑鼠选择要贴上的项目，用「Esc」可以关闭清单。每个清单项目旁边会有一个数字标号，按下相应号码可以立即贴上该项目（1～9）。在历史清单除了可以显示複製内容中的文字、网址外，也可以正常显示图片。 支援各种语言文字的複製贴上：之所以要强调这一点，是因为有些剪贴簿强化工具在複製贴上简体中文或日文时会变成乱码。而ClipX 可以顺利的剪贴简繁体中文、日文、英文等文字内容，这一点对我来说可以说是选择 ClipX 非常大的诱因。 複製内容搜寻功能：「Search」项目可以让你用搜寻关键字的方式，快速的找到你複製的文字内容，尤其在你複製了许多文字项目后，这个功能可以快速切换、贴上你想要的複製项目。 複製内容编辑功能：「Manage」可以让你编辑複製好的文字、网址内容，这也是很方便的一点，有时候我确实会想要对複製内容先作一些修改再贴上。 网址快速连结与Google搜寻：当你清单的第一个项目是网址时，按下「Ctrl + Shift + N」可以快速开启浏览器连结到该网址。要将某个複製的网址移到历史清单第一项的方法是到系统工具列按左键开启清单，按一下想要移动的项目后，该项目就会移到第一项。另外按下「Ctrl + Shift + G」，可以用Google搜寻第一个複製项目的内容，但是这功能只支援英文。 储存载入清单：你可以储存当前的複製历史清单成为独立的档桉，并在你想要的时后载入它。这个功能的好处是，有时候我们可能会频繁的、重複的需要剪贴某一组资料，例如你的网页...
阅读全文