《Python 3网络爬虫开发实战》崔庆才

发布于

　　本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实现数据爬取，最后介绍了pyspider框架、Scrapy框架和分布式爬虫。

　　

　　本书适合Python程序员阅读。

　　

下载：Python 3网络爬虫开发实战.pdf.zip | 源代码_Python 3网络爬虫开发实战.zip

评论

发表评论

Popular Posts

eXtplorer - 一个基于PHP和JavaScript的在线文件管理器

发布于
eXtplorer是一个基于PHP和JavaScript的在线文件管理器。使用 eXtplorer 可以在线浏览文件和文件夹之外，甚至可以将 eXtplorer 作为 FTP 客户端去登录 FTP 服务器。 eXtplorer 的详细功能 * 可以通过鼠标拖拉复制和移动文件和文件夹 * 动态的目录树，并且能够根据需要显示子目录 * 可以在线修改文件，并且代码高亮显示 * 可以重命名，删除和创建文件和文件夹 * 可以通过 FTP 方式或者直接访问文件 * 并且可以修改文件的权限和属性 * 可以上传和下载文件 * 可以压缩文件，或者解开压缩包，支持 ZIP, Tar, Tar/GZ, Tar/BZ 四种格式 * 可以创建多个用户，并且可以给用户赋予不同的权限，如只能“浏览”，“编辑”，和“管理” * 现在还可以作为 Joomla! 和 Mambo 这两个 CMS 程序的部件，不过遗憾还没有 WordPress 方面的插件。 安装 eXtplorer 安装 eXtplorer 需要以下几步： 1. 首先你要确保你服务器的 PHP 版本>4.3 2. 解压缩下载下来的压缩包 3. 使用你的 FTP 客户端上传源代码到服务器上的某个目录下 如 /extplorer 4. 设置 extplorer 的目录可写，并且设置 /ftp_tmp 目录的权限为 777 5. 在浏览器访问 http:///extplorer （默认帐号和密码都是 admin），他会弹出一个框让你里修改密码。一定要修改，不然让人获取权限，就可以删除你服务器上所有文件。 如果你不能修改你的 admin 密码，可能是因为你的用户文件不可写，在 FTP 中，把 /config 目录下的 “.htusers.php” 文件设置为可写。 官方网站： http://extplorer.sourceforge.net/ 下载： eXtplorer_2.0.1.zip （eXtplorer_2.0.1.zip） link
阅读全文

随身WiFi折腾指南: 解锁、刷机与DIY

发布于
市面上随身Wifi的产品层出不穷，我也入手了两个，记录一下折腾的步骤。 目前较多的是中兴微和高通骁龙410两个版本，对于只是想插自己的卡的用户，推荐购买中芯微芯片轻型Linux系统的随身wifi，因为这种产品在稳定性和发热量方面表现较好，无需额外折腾；如果用户想搞机，推荐购买高通骁龙410纸盒系列的随身wifi，这种产品拥有很高的可玩性，可以刷出各种不同的操作系统或软路由等，相对灵活。 拿到手根据以下步骤折腾： 1. 解锁sim卡槽密码 获取解锁sim卡槽密码，这是进行手机解锁操作所必要的步骤之一 http://192.168.0.1/goform/goform_get_cmd_process?cmd=unlock_network_code 2. 移除商家远控后台 开启ADB命令。该命令通常用于与手机进行调试和控制 http://192.168.0.1/goform/goform_set_cmd_process?goformId=SET_DEVICE_MODE&debug_enable=1 当用户使用`nv`命令时，表示正在修改或查询机器的某些固件参数。以下是对所有出现的`nv`命令的解释： - `nv show`：查看所有可设置的参数； - `nv set mqtt_host=127.0.0.1`：将 MQTT 服务器的主机地址设置为本地； - `nv set fota_updateMode=0`：禁止自动下载固件更新； - `nv set os_url=http://127.0.0.1`：将系统软件更新服务器的地址设置为本地； - `nv set lpa_trigger_host=127.0.1`：将选定的服务地址设置为本地； - `nv set safecare_hostname=127.0.0.1`：将 Safecare 服务器的主机地址设置为本地； - `nv set safecare_mobsite=http://127.0.0.1`：将手机站点地址设置为本地； - `nv set TM_SERVER_NAME=127.0.0.1`：将 TM 服务器的主机地址设置为本地； - `nv set lpa_trigger_updata_url=/`：将选定的服务地址设置为根目录； - `nv set lpa_trigger_event_url=/`：将...
阅读全文

mihomo各平台客户端下载(windows, android, macos)

发布于
mihomo是一个学习工具，目前客户端众多，本文只节选每个平台上够用的版本。 以下搜集各平台版本的下载链接： Windows X64: Clash.Mini_v0.2.2_x64.zip X86:  Clash.Mini_v0.2.2_x86.zip Mac ClashX.Meta.zip Android ARMv8: cmfa-2.11.11-meta-arm64-v8a-release.apk ARMv7: cmfa-2.11.11-meta-armeabi-v7a-release.apk 其中如果遇到缺失GeoIP或GeoSite文件的，可通过以下链接下载： GeoIP.dat GeoSite.dat Country.mmdb 浏览器扩展可以使用： zeroomega-3.3.23.crx zeroomega-3.3.23.xpi
阅读全文

常用的国内外延迟测速链接（generate_204）

发布于
以下是一些常用的国内外延迟测速链接，通常返回204状态码（generate_204） 服务提供者 链接 大陆体验 境外体验 Google http://www.gstatic.com/generate_204 5 10 Google http://www.google-analytics.com/generate_204 6 4 Google http://www.google.com/generate_204 0 10 Google http://connectivitycheck.gstatic.com/generate_204 4 10 Apple http://captive.apple.com 3 10 Apple http://www.apple.com/library/test/success.html 7 10 Microsoft http://www.msftconnecttest.com/connecttest.txt 5 10 Cloudflare http://cp.cloudflare.com/ 4 10 Firefox http://detectportal.firefox.com/success.txt 5 10 V2EX http://www.v2ex.com/generate_204 0 10 ...
阅读全文

Win10和Win11家庭版开启远程桌面功能RDP

发布于
Windows 10和Windows 11家庭版默认不支持远程桌面功能，但借助第三方工具RDP Wrapper Library，我们可以轻松实现这一功能。本文将详细介绍如何使用RDP Wrapper Library在Windows 10和Windows 11家庭版上开启远程桌面功能。 1. 下载RDP Wrapper Library 首先，下载RDP Wrapper Library。前往GitHub项目页面 https://github.com/stascorp/rdpwrap ，点击"Releases"，下载最新版本的`RDPWrap-v1.6.2.zip`文件。 2. 解压缩并安装 将下载的`RDPWrap-v1.6.2.zip`文件解压缩到一个文件夹，例如`D:\RDPWrap`。接下来，右键点击解压缩后的`install.bat`文件，选择"以管理员身份运行"，以安装RDP Wrapper Library。 3. 检查RDP Wrapper状态 安装完成后，以管理员身份运行RDPConf.exe查看RDP Wrapper状态，如果RDP Wrapper安装成功，你将看到以下状态： - Wrapper State: Installed - Service State: Running - Listener State: Listening [fully supported] 确保所有状态都是正常的。 如果你发现任何一项或多项显示为红色，这意味着rdpwrap.ini配置文件需要更新。 更新rdpwrap.ini 首先，访问 https://github.com/sebaxakerhtc/rdpwrap.ini 项目，下载最新的rdpwrap.ini文件。 在替换rdpwrap.ini文件之前，需要先停止Remote Desktop Services服务。打开"服务"应用，找到"Remote Desktop Services"，右键单击并选择"停止"。 接下来，将下载的rdpwrap.ini文件拷贝到RDP Wrapper安装目录中的ini文件夹，替换原有文件。 完成替换后，重新启动Remote Desktop Services服务。在"服务...
阅读全文

坚持跑步到底有哪些改变？

发布于
　　大学里，我曾经极度颓废。每周七天，有超过一半时间在外面包夜打网游。 　　剩下的时间，要么在宿舍里补觉，要么就是上贴吧吐槽或看人吐槽。 　　专业课学得一塌糊涂，身体弱不禁风。 　　更可怕的是，我完全失去了对未来的信心。 　　那时候的我，甚至一度觉得自己大学毕业能找到一份工作就已经够谢天谢地了，无论这份工作工资有多低，在哪上班，干什么活。 　　大概在大三下学期的时候，突然有一天我决定要改变这样的生活，更重要的是改变自己大学后即将面临的命运。 　　我毅然决然地把游戏号冻结了，开始每天试着去图书馆里看书上自习。 　　但不管是身体还是精神状态，都有一种大病初愈的感觉，一种难以言述的无力感会时不时袭来。 　　我想起了我初三冲刺时，曾经有一段时间每天晚上上完晚自习都和同学去操场跑步。 　　于是找了一天晚上，悄悄摸到学校操场，在没人看见的跑道上试着跑了跑。 　　但这些年持续的颓废生活，吃着泡面通宵打游戏，天天日夜颠倒，早已侵蚀了我的身体，只跑了大概一圈多，就气喘吁吁地坚持不了了。 　　更重要的是，长期颓废后，我的意志力变得极其脆弱，我至今仍记得当时我最真实的想法：既然跑不动，那就这样了吧，我已经不行了，我已经不是当年的那个我了。 　　如果那时我放弃了，大概后面就真的很难走出颓废了。 　　 今天不想跑，所以才去跑，这才是长距离跑者的思维方式。——村上春树 　　我短暂歇了十多分钟后，逼着自己又跑了一圈。 　　合起来也没跑到一公里，却整整跑了十多分钟。 　　第二天晚上，忍受着浑身的酸痛，我再次来到操场边上。 　　自己给自己打气说：今晚，我只需要比昨天多跑半圈就行。半圈就行。 　　然后，跨出去第一步，我就知道不行了，昨天有些拉伤的腿部肌肉有一种被撕裂的疼。 　　我大口呼吸，忍着痛，跑了一圈多后，又开始上气不接下气，感觉自己随时都可能喘不过气来，肋骨也一点点地扯得疼。 　　我靠着“要么死，要么跑完”的一股狠劲，终于坚持跑完了一公里，几乎直接瘫倒在跑道上。 　　但从那天起，在大学毕业前夕，我就这么一瘸一拐地开始每天晚上去跑步。 　　每天都比前一天多跑一点点远。 　　神奇的事情发生了，大概一周多以后，跑步的时候腿不再那么痛了，呼吸的时候也没有那么难受了。 　　半个月后，我能在操场上一口气跑5圈了，每圈400米。 　　跑步给了我非常及时的正向反馈，让我清楚地知道，我每天总能比前一天有进步，要么...
阅读全文

十二国记 (2002)

发布于
中岛阳子是一个学习成绩优秀的高中生，为人谦和但个性非常懦弱，大家对她的印象就是一个毫无特点的好好学生：除了那一头天生的红发。阳子的青梅竹马浅野郁也是她自认为的心灵依靠，可是浅野却对个性阴暗、不受女生班同学们喜欢的杉本优香心仪着。 某日，一位自称景麒的古装男子突然把阳子带入了异世界并赠与她水禺刀，同时被卷进此事件的还有浅野和杉本；之后，阳子惊奇的发现自己的相貌身形甚至语音都发生了变化，而所谓的这个异世界，竟然是一个类似古中国的神话国度，既有劳作耕田的普通百姓，也有腾云驾雾的仙人，甚至长生不老的君王与官吏。 三人结伴旅途中，沉迷于幻想世界的杉本终于走上了与阳子生死对立的道路，而浅野也下落不明。孤忄无依、濒临死亡的阳子被半兽人乐俊所救。在与同学分别前就被水禺刀刀鞘迷惑的阳子，经过与乐俊的多日相处，渐渐恢复了善良的本性。俩人结伴来到雁国后，阳子得知自己其实是被圣兽麒麟所选中的十二国之一“庆”的王……；自从来到十二国的世界后，一路上所经历的种种艰辛与苦难，使得阳子逐渐懂得“自尊、自强、自省”，因此在乐俊的鼓励下，她放弃了怯懦、逃避的心，毅然选择正视自己的命运：向雁的延王借兵，夺回了被伪王占据的庆国！ 庆国终于迎来了自己的王，但是国境内却土地荒芜、人民生活疾苦，景王阳子虽有一腔热血，却对治理国家一窍不通。而且，在前王时期就暗中操控政局的大臣们也图谋不轨。被朝臣玩弄于鼓掌间的阳子终于决心再次深入民间，向贤士学习治国之道。与此同时，芳国发生政变，峰王被杀、峰麟下落不明，而公主祥琼则被赶出国家，当她得知与自己年龄相近的阳子成为景王时，莫明的嫉妒与仇恨驱使她前往庆国；而一位受尽仙女欺凌的海客：玲，满怀着对景王的期待也踏上了征途……三个不同身份的女孩向着她们命运的交汇点前进着！ 在线： 腾讯视频 | 优酷
阅读全文

优化PC端B站(Bilibili)免登录观看体验

发布于
B站目前看视频30秒会自动暂停并弹出登录框，同时查看评论也需要登陆，这让不喜欢登录的我来说用起来十分不方便，为了提高观看体验，可以试试油猴脚本 安装油猴扩展： https://violentmonkey.github.io/get-it/ 安装完成后，使用以下三个脚本： 防止视频被自动暂停及弹出登录窗口 在未登录的情况下自动并无限试用最高画质 在未登录的情况下照常加载评论
阅读全文

Cromite - 极度注重隐私的Chromium浏览器

发布于
Cromite 是基于Bromite的Chromium分支，具有内置的广告拦截支持和隐私保护功能。  Cromite 适用于 Android arm64-v8a、arm32-v7a 和 x86_64、Nougat 及更高版本（最低 v8.0，API 级别 26）、Windows 和 Linux 64 位。 Cromite的目标是 限制浏览器内置的可用作跟踪用户习惯平台的功能，如果技术上不可行，则禁用它们并让用户选择是否重新启用它们  限制浏览器与其制造商之间的紧密结合 在具体的使用过程中，我发现确实能最大程度的保证隐私，甚至出现我在NoVNC中按Ctrl+C不能复制内容的情况（估计是拦截了可能出现的按键泄露风险）。所以我的结论是，如果为了极度注重隐私，可以考虑这款浏览器。而普通的用户，也许Chromium或另一款Thorium更值得尝试。 下载页：https://github.com/uazo/cromite/releases  
阅读全文