《Python 3网络爬虫开发实战》崔庆才

发布于

　　本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实现数据爬取，最后介绍了pyspider框架、Scrapy框架和分布式爬虫。

　　

　　本书适合Python程序员阅读。

　　

下载：Python 3网络爬虫开发实战.pdf.zip | 源代码_Python 3网络爬虫开发实战.zip

评论

发表评论

Popular Posts

常用的国内外延迟测速链接（generate_204）

发布于
以下是一些常用的国内外延迟测速链接，通常返回204状态码（generate_204） 服务提供者 链接 大陆体验 境外体验 Google http://www.gstatic.com/generate_204 5 10 Google http://www.google-analytics.com/generate_204 6 4 Google http://www.google.com/generate_204 0 10 Google http://connectivitycheck.gstatic.com/generate_204 4 10 Apple http://captive.apple.com 3 10 Apple http://www.apple.com/library/test/success.html 7 10 Microsoft http://www.msftconnecttest.com/connecttest.txt 5 10 Cloudflare http://cp.cloudflare.com/ 4 10 Firefox http://detectportal.firefox.com/success.txt 5 10 V2EX http://www.v2ex.com/generate_204 0 10 ...
阅读全文

随身WiFi折腾指南: 解锁、刷机与DIY

发布于
市面上随身Wifi的产品层出不穷，我也入手了两个，记录一下折腾的步骤。 目前较多的是中兴微和高通骁龙410两个版本，对于只是想插自己的卡的用户，推荐购买中芯微芯片轻型Linux系统的随身wifi，因为这种产品在稳定性和发热量方面表现较好，无需额外折腾；如果用户想搞机，推荐购买高通骁龙410纸盒系列的随身wifi，这种产品拥有很高的可玩性，可以刷出各种不同的操作系统或软路由等，相对灵活。 拿到手根据以下步骤折腾： 1. 解锁sim卡槽密码 获取解锁sim卡槽密码，这是进行手机解锁操作所必要的步骤之一 http://192.168.0.1/goform/goform_get_cmd_process?cmd=unlock_network_code 2. 移除商家远控后台 开启ADB命令。该命令通常用于与手机进行调试和控制 http://192.168.0.1/goform/goform_set_cmd_process?goformId=SET_DEVICE_MODE&debug_enable=1 当用户使用`nv`命令时，表示正在修改或查询机器的某些固件参数。以下是对所有出现的`nv`命令的解释： - `nv show`：查看所有可设置的参数； - `nv set mqtt_host=127.0.0.1`：将 MQTT 服务器的主机地址设置为本地； - `nv set fota_updateMode=0`：禁止自动下载固件更新； - `nv set os_url=http://127.0.0.1`：将系统软件更新服务器的地址设置为本地； - `nv set lpa_trigger_host=127.0.1`：将选定的服务地址设置为本地； - `nv set safecare_hostname=127.0.0.1`：将 Safecare 服务器的主机地址设置为本地； - `nv set safecare_mobsite=http://127.0.0.1`：将手机站点地址设置为本地； - `nv set TM_SERVER_NAME=127.0.0.1`：将 TM 服务器的主机地址设置为本地； - `nv set lpa_trigger_updata_url=/`：将选定的服务地址设置为根目录； - `nv set lpa_trigger_event_url=/`：将...
阅读全文

官方部署工具ODT安装Microsoft Office(含Visio和Project)

发布于
通常安装Office和Visio、Project等，需要下载镜像载入后进行安装和等待，耗时较长且安装包内可能会含有病毒。而这里使用了微软官方的部署工具进行定制化安装，轻松快捷的完成Office系列的安装。 1. 从 PC 卸载 Office https://support.microsoft.com/zh-cn/office/%E4%BB%8E-pc-%E5%8D%B8%E8%BD%BD-office-9dd49b83-264a-477a-8fcc-2fdf5dbf61d8 2. 下载Office Deployment Tool (ODT) https://www.microsoft.com/en-us/download/details.aspx?id=49117 注意：运行后会生成setup.exe和三个配置文件，请勿运行，保存后续步骤使用 3. 创建配置文件 https://config.office.com/ 注意：配置完成后需要下载配置文件到本地，可命名为config.xml 4. 下载Office setup.exe /download config.xml 注意：需要以管理员模式运行CMD后，执行以上命令 5. 安装Office setup.exe /configure config.xml 注意：需要以管理员模式运行CMD后，执行以上命令 6. 激活Office cd /d "%ProgramFiles%Microsoft OfficeOffice16" cscript ospp.vbs /sethst:kms.yourcompany.com cscript ospp.vbs /act 注意：需要以管理员模式运行CMD后，执行以上命令。Office16目录根据安装版本不同会有所变动，以实际安装为准。kms.yourcompany.com为示例激活服务器，需要替换为您公司的服务器方可激活
阅读全文

《Personal Development for Smart People》Steve Pavlina

发布于
　　这是一本关于人生发展的书，作者Steve Pavlina以自己的亲身经历为例，讲述他由犯盗窃罪被大学退学开始，历经社区劳动、重新求学、创办软件公司直到成为现在帮助人成长的博客写手的经历。以他自己的切身感悟和人生实践来感染读者，向读者阐释了何为成长，人应该怎么成长的道理，并根据他所提出的原则结合现实中的各种情况分别进行了仔细的分析。 　　 　　 阅读： github
阅读全文

优化PC端B站(Bilibili)免登录观看体验

发布于
B站目前看视频30秒会自动暂停并弹出登录框，同时查看评论也需要登陆，这让不喜欢登录的我来说用起来十分不方便，为了提高观看体验，可以试试油猴脚本 安装油猴扩展： https://violentmonkey.github.io/get-it/ 安装完成后，使用以下三个脚本： 防止视频被自动暂停及弹出登录窗口 在未登录的情况下自动并无限试用最高画质 在未登录的情况下照常加载评论
阅读全文

吞食天地2完全版v4.08 PC汉化版

发布于
《吞食天地2完全版》是网友利用wolfrpg重制的《吞食天地II 诸葛孔明传》新版，最终版本是4.08。国内的网友对其进行了汉化 汉化内容如下： 流程剧情：包括本传及两个外传中所有NPC对话、战役对话及其他剧情对白的汉化。 游戏界面：包括游戏菜单、系统设定、存档以及其他功能指令的汉化。 战役名称：包括各类战役时，界面下方显示的战役名汉化。 物品名称：包括武器、防具、任务物品及各物品的解释说明汉化，所有物品的说明尽量按日文原版直译，不做属性增幅方面的补充。 计策阵型：包括策略、阵型名称及对应的解释说明。 人物相关：包括我方及敌方人物的姓名、属性名、武器类型、得意地形、大将特性等汉化。 结尾动画中的原日文制作组不做汉化，保留原有日文内容。 游戏在运行前需要安装压缩包内的HarmonyOS Sans（鸿蒙）免费字体进行游戏。 关于《吞食天地II 诸葛孔明传》（日语：天地を喰らうII 諸葛孔明伝）原版游戏的介绍，可以参考 这个链接 下载： 吞食天地2完全版Ver4.08原版汉化_20220807.zip 相关： 原版发布页 | 汉化发布页 | 攻略
阅读全文

mihomo各平台客户端下载(windows, android, macos)

发布于
mihomo是一个学习工具，目前客户端众多，本文只节选每个平台上够用的版本。 以下搜集各平台版本的下载链接： Windows X64: Clash.Mini_v0.2.2_x64.zip X86:  Clash.Mini_v0.2.2_x86.zip Mac ClashX.Meta.zip Android ARMv8: cmfa-2.11.11-meta-arm64-v8a-release.apk ARMv7: cmfa-2.11.11-meta-armeabi-v7a-release.apk 其中如果遇到缺失GeoIP或GeoSite文件的，可通过以下链接下载： GeoIP.dat GeoSite.dat Country.mmdb 浏览器扩展可以使用： zeroomega-3.3.23.crx zeroomega-3.3.23.xpi
阅读全文

Cromite - 极度注重隐私的Chromium浏览器

发布于
Cromite 是基于Bromite的Chromium分支，具有内置的广告拦截支持和隐私保护功能。  Cromite 适用于 Android arm64-v8a、arm32-v7a 和 x86_64、Nougat 及更高版本（最低 v8.0，API 级别 26）、Windows 和 Linux 64 位。 Cromite的目标是 限制浏览器内置的可用作跟踪用户习惯平台的功能，如果技术上不可行，则禁用它们并让用户选择是否重新启用它们  限制浏览器与其制造商之间的紧密结合 在具体的使用过程中，我发现确实能最大程度的保证隐私，甚至出现我在NoVNC中按Ctrl+C不能复制内容的情况（估计是拦截了可能出现的按键泄露风险）。所以我的结论是，如果为了极度注重隐私，可以考虑这款浏览器。而普通的用户，也许Chromium或另一款Thorium更值得尝试。 下载页：https://github.com/uazo/cromite/releases  
阅读全文

使用Kiss Translator油猴脚本实现自然口语化网页翻译

发布于
使用Kiss translator的油猴脚本, 结合硅基流动的服务, 实现高度口语化的翻译. 安装油猴扩展:  https://violentmonkey.github.io/ 安装Kiss Translator脚本:  https://greasyfork.org/zh-CN/scripts/472840-kiss-translator 设置OpenAI翻译接口: https://api.siliconflow.cn/v1/chat/completions 自定义提示词（同时设置系统提示词和用户提示词）: 网页翻译 (仅输出译文) 您是一位专业的翻译助手，您的任务是将网页内容准确、自然、且富有感染力地翻译成目标语言。您尤其擅长捕捉原文的情感和语气，并将其自然地融入到译文中。 翻译请求指示: 请将以下 {{from}} 文本翻译成 {{to}}。 您的输出必须仅包含译文本身，请勿包含任何前言、解释或其他非译文内容。 翻译要求 (请严格遵守):     语言风格: 地道的中文母语者日常口语风格，译文 自然流畅，避免书面语和机器翻译痕迹。     语气情感: 略微非正式的语气，充分传达原文用户的 热情和真诚的赞赏 之情。     表达技巧: 巧妙融入地道的中文俗语和口语化表达 (例如 “压榨”、“忍痛割爱” 等风格)，使译文生动活泼，贴近真实对话。     翻译策略: 避免生硬字面直译，理解原文核心意思和情感，用自然流畅中文 重新组织表达 (神形兼备)。 **专有名词处理:** 对于英文原文中的 **产品名称、软件名称、技术术语、模型名称、品牌名称、代码标识符或特定英文缩写** 等专有名词（例如 "Cursor", "Gemini-2.5-pro-exp", "VS Code", "API", "GPT-4"），**必须保留其原始英文形式，不进行翻译**。请将这些英文术语自然地嵌入到流畅的中文译文中。 * **重要示例:** 如果原文是 "Add Gemini-2.5-pro-exp to Cursor"，一个好的翻译应该是像 “快把 Gemini-2.5-pro-exp 加到 Cursor 里试试！” 或 “推荐将 Gemini-2.5-pro-ex...
阅读全文

QQ拼音输入法 4.7 传统版

发布于
　　QQ输入法是2007年11月20日由腾讯发布的一款汉语拼音输入法及五笔输入法软件，运行在Windows及macOS系统上，2014年被搜狗收购。 　　4.7传统版为被收购前的最后一个版本，无广告。 　　 下载： QQPinyin_Setup_4.7.2065.400.exe
阅读全文