《Python 3网络爬虫开发实战》崔庆才

发布于

　　本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实现数据爬取，最后介绍了pyspider框架、Scrapy框架和分布式爬虫。

　　

　　本书适合Python程序员阅读。

　　

下载：Python 3网络爬虫开发实战.pdf.zip | 源代码_Python 3网络爬虫开发实战.zip

评论

发表评论

Popular Posts

随身WiFi折腾指南: 解锁、刷机与DIY

发布于
市面上随身Wifi的产品层出不穷，我也入手了两个，记录一下折腾的步骤。 目前较多的是中兴微和高通骁龙410两个版本，对于只是想插自己的卡的用户，推荐购买中芯微芯片轻型Linux系统的随身wifi，因为这种产品在稳定性和发热量方面表现较好，无需额外折腾；如果用户想搞机，推荐购买高通骁龙410纸盒系列的随身wifi，这种产品拥有很高的可玩性，可以刷出各种不同的操作系统或软路由等，相对灵活。 拿到手根据以下步骤折腾： 1. 解锁sim卡槽密码 获取解锁sim卡槽密码，这是进行手机解锁操作所必要的步骤之一 http://192.168.0.1/goform/goform_get_cmd_process?cmd=unlock_network_code 2. 移除商家远控后台 开启ADB命令。该命令通常用于与手机进行调试和控制 http://192.168.0.1/goform/goform_set_cmd_process?goformId=SET_DEVICE_MODE&debug_enable=1 当用户使用`nv`命令时，表示正在修改或查询机器的某些固件参数。以下是对所有出现的`nv`命令的解释： - `nv show`：查看所有可设置的参数； - `nv set mqtt_host=127.0.0.1`：将 MQTT 服务器的主机地址设置为本地； - `nv set fota_updateMode=0`：禁止自动下载固件更新； - `nv set os_url=http://127.0.0.1`：将系统软件更新服务器的地址设置为本地； - `nv set lpa_trigger_host=127.0.1`：将选定的服务地址设置为本地； - `nv set safecare_hostname=127.0.0.1`：将 Safecare 服务器的主机地址设置为本地； - `nv set safecare_mobsite=http://127.0.0.1`：将手机站点地址设置为本地； - `nv set TM_SERVER_NAME=127.0.0.1`：将 TM 服务器的主机地址设置为本地； - `nv set lpa_trigger_updata_url=/`：将选定的服务地址设置为根目录； - `nv set lpa_trigger_event_url=/`：将...
阅读全文

mihomo各平台客户端下载(windows, android, macos)

发布于
mihomo是一个学习工具，目前客户端众多，本文只节选每个平台上够用的版本。 以下搜集各平台版本的下载链接： Windows X64: Clash.Mini_v0.2.2_x64.zip X86:  Clash.Mini_v0.2.2_x86.zip Mac ClashX.Meta.zip Android ARMv8: cmfa-2.11.11-meta-arm64-v8a-release.apk ARMv7: cmfa-2.11.11-meta-armeabi-v7a-release.apk 其中如果遇到缺失GeoIP或GeoSite文件的，可通过以下链接下载： GeoIP.dat GeoSite.dat Country.mmdb 浏览器扩展可以使用： zeroomega-3.3.23.crx zeroomega-3.3.23.xpi
阅读全文

Cromite - 极度注重隐私的Chromium浏览器

发布于
Cromite 是基于Bromite的Chromium分支，具有内置的广告拦截支持和隐私保护功能。  Cromite 适用于 Android arm64-v8a、arm32-v7a 和 x86_64、Nougat 及更高版本（最低 v8.0，API 级别 26）、Windows 和 Linux 64 位。 Cromite的目标是 限制浏览器内置的可用作跟踪用户习惯平台的功能，如果技术上不可行，则禁用它们并让用户选择是否重新启用它们  限制浏览器与其制造商之间的紧密结合 在具体的使用过程中，我发现确实能最大程度的保证隐私，甚至出现我在NoVNC中按Ctrl+C不能复制内容的情况（估计是拦截了可能出现的按键泄露风险）。所以我的结论是，如果为了极度注重隐私，可以考虑这款浏览器。而普通的用户，也许Chromium或另一款Thorium更值得尝试。 下载页：https://github.com/uazo/cromite/releases  
阅读全文

ungoogled-chromium浏览器各平台版本下载(windows, android, macos, linux)

发布于
ungoogled-chromium是一个开源的Chromium浏览器项目，相比Chrome来说更加注重隐私和安全。 以下搜集各平台版本的下载链接： Windows X64:  ungoogled-chromium_135.0.7049.114-1.1_installer_x64.exe Win7_X64: ungoogled-chromium_109.0.5414.120-1.1_installer_x64.exe Win7_X86: ungoogled-chromium_109.0.5414.120-1.1_installer_x86.exe MacOS X86: ungoogled-chromium_130.0.6723.91-1.1_x86-64-macos-signed.dmg ARM:  ungoogled-chromium_130.0.6723.91-1.1_arm64-macos-signed.dmg MacOS10.13_X86: ungoogled-chromium_116.0.5845.187-1.1_x86-64-macos.dmg Linux Debian:  ungoogled-chromium_129.0.6668.70-1~deb12u1.1_amd64.deb Ubuntu:  ungoogled-chromium_112.0.5615.165-1_amd64.deb Android armv8: ChromeModernPublic_99.0.4844.51-1_arm64.apk armv7:  ChromeModernPublic_99.0.4844.51-1_arm.apk 安装后，使用ungoogled-chromium访问chrome://ungoogled-first-run，可以根据提示安装商店插件： Chromium.Web.Store.crx
阅读全文

《精益创业》[美] 埃里克·莱斯

发布于
　　精实创业是一种发展商业模式与开发产品的方法，由埃里克·莱斯在2011年首次提出。根据埃里克·莱斯之前在数个美国新创公司的工作经验，他认为新创团队可以借由整合“以实验验证商业假设”、“快速更新、迭代产品”、以及他所提出的最简可行产品（minimum viable product，简称MVP）及“验证式学习（英语：Validated learning）”，来缩短他们的产品开发周期。埃里克·莱斯认为，初创企业如果愿意投资时间于快速更新产品与服务，以提供给早期使用者试用，那他们便能减少市场的风险，避免早期计划所需的大量资金、昂贵的产品上架，与失败。 　　 　　精实创业最初只是2008年埃里克·莱斯在高科技公司任职时的一个想法，现已广泛应用于任何希望推广产品到市场上的产业、团队，或公司。今日，精实创业已经自其诞生地硅谷传播至全世界，大部分的功劳要归功于埃里克·莱斯的纽约时报畅销书榜书籍：《精实创业：今日的创业家如何运用持续的创新去创造快速成功的事业。 　　 下载： 精益创业.pdf.zip
阅读全文

《活法》作者：[日]稻盛和夫 pdf下载

发布于
《活法》是日本企业家稻盛和夫的代表作，原书由日本SUNMARK出版社出版，被誉为日本21世纪励志第一书。稻盛和夫是日本两家世界500强企业京瓷和KDDI的创始人，被誉为日本经营四圣之一，他是季羡林认为稀有的既是企业家又是哲学家的人物。《活法》的思想主要源自儒家和佛教，结合稻盛和夫经营的经历与感悟，形成了一个思想体系。 　　 　　我们现今生活在纷乱如麻、前途未卜的“不安分的时代”。富裕却不知足，丰衣足食却礼节不周，充分享受自由却倍感闭塞。只要有干劲，就什么东西也可以得到，任何梦想也可以实现。但是社会却弥漫着颓废、悲观的氛围，甚至有人甘愿成为丑闻的主角，甚至犯罪。 　　为什么如此闭塞的状况充斥着整个社会？那难道不是因为很多人找不到活着的意义和价值，迷失了人生的方向吗？造成这种状况的原因，正是由于缺乏正确的人生观———恐怕不只我一个人这么想吧。 　　我想，对这个时代来说，最需要的就是从根本上质问“人为什么活着？”首先，人们要正视该问题，树立作为人生指南的“哲学”。所谓哲学，也可称之为“理念”或者“思想”。这是类似沙漠里撒水那样虚无或者在急流中打桩一样困难的事情。 　　但是，正因为我们处于鄙视劳动、纷乱浮躁的时代，我相信只有单纯且直率的质问才有更深的意义。若不能这样从根本上去尝试思考生活方式，那么，纷乱状态将愈发加深，未来将越来越混沌不清，混乱将在社会上漫布开去—-怀有如此紧迫的危机感和焦躁感的人同样应该不止我一个。我想在这本书中从正面把握人类的“人生哲学”，毫无保留地阐述我的根本思想，并从本质上再次质问活着的意义和人生应有的状态。这样，我希望能在时代的湍流中打下微小的一根木桩。各位读者，为了找到人生的乐趣，度过一个充满幸福的充实人生，我希望您能从本书获得一点启发，倘如此，我将感到无比高兴。 下载： hf_pdf.zip （PDF格式）
阅读全文

Sublime3 3211 - 跨平台文本编辑器开发工具

发布于
　　Sublime Text 是一套跨平台的文本编辑器，支持基于Python的插件。Sublime Text 是专有软件，可通过包（Package）扩充本身的功能。大多数的包使用自由软件授权发布，并由社区建置维护。 　　 　　Sublime Text 的主要功能如下： 　　“Go to anything”功能：可快速跳至文件、符号或行数。 　　“Command palette”功能：弹性快捷键功能。 　　多行选择功能：同时修改多内联容。 　　基于 Python 语言的外挂 API。 　　针对个别项目使用不同的编辑器设置。 　　通过 JSON 文件自定义设置值。 　　跨平台（Windows、Linux 和 Mac OS X）。 　　兼容 TextMate 的语言标记语法。 　　官网： https://www.sublimetext.com/ 　　替换补丁后，hosts添加： 127.0.0.1 www.sublimetext.com 127.0.0.1 sublimetext.com 127.0.0.1 sublimehq.com 127.0.0.1 telemetry.sublimehq.com 127.0.0.1 license.sublimehq.com 127.0.0.1 45.55.255.55 127.0.0.1 45.55.41.223 　　注册码： —– BEGIN LICENSE (这行无需复制) —– TwitterInc 200 User License EA7E-890007 1D77F72E 390CDD93 4DCBA022 FAF60790 61AA12C0 A37081C5 D0316412 4584D136 94D7F7D4 95BC8C1C 527DA828 560BB037 D1EDDD8C AE7B379F 50C9D69D B35179EF 2FE898C4 8E4277A8 555CE714 E1FB0E43 D5D52613 C3D12E98 BC49967F 7652EED2 9D2D2E61 67610860 6D338B72 5CF95C69 E36B85CC 84991F19 7575D828 470A92AB —— END LICENSE (这...
阅读全文

Microsoft 365安装包下载（Office桌面应用）

发布于
 Microsoft 365是微软建基于旧称Microsoft Office办公室套件的云端办公室方案，包括免费的线上Office Online、线上会议Microsoft Teams、管理信件的Outlook Web App、建立小组沟通网站的SharePoint Online等。2020年3月31日，微软宣布将会把Office 365名称改为Microsoft 365，并推出新的订阅方案，4月21日，微软正式将Office 365改名为Microsoft 365。但此次改名并不彻底，Office 365 A1/A3/E3/E5 订阅并未受此影响，这三种订阅均为教育版订阅，但现已完全更改。 Microsoft 365以收取订阅月费或年费，取代Microsoft Office 2010及以前版本的单次收费模式。借助Microsoft 365订阅计划，用户可获取完整及全套的Office应用程序：Word、Excel、PowerPoint、OneNote、Outlook、Publisher和Access（Publisher和Access仅支持PC）。可以在多种设备上（包括PC、Mac、Android平板电脑、Android手机、iPad和iPhone）安装Microsoft 365。此外，借助Microsoft 365还可获取各种适合家庭使用的服务（如OneDrive云端空间）。如果有有效Microsoft 365订阅，即可始终使用最新版本的Office应用程序。 关于如何关闭office中连接的onedrive，可以按如下操作： 文件-选项-常规-隐私设置，关闭“开启所有连接体验” 下载Microsoft 365 ProPlus： O365ProPlusRetail.img 注意：下载后需要购买Microsoft 365订阅，登录账号才可使用。
阅读全文