《Python 3网络爬虫开发实战》崔庆才

发布于

　　本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实现数据爬取，最后介绍了pyspider框架、Scrapy框架和分布式爬虫。

　　

　　本书适合Python程序员阅读。

　　

下载：Python 3网络爬虫开发实战.pdf.zip | 源代码_Python 3网络爬虫开发实战.zip

评论

发表评论

Popular Posts

常用的国内外延迟测速链接（generate_204）

发布于
以下是一些常用的国内外延迟测速链接，通常返回204状态码（generate_204） 服务提供者 链接 大陆体验 境外体验 Google http://www.gstatic.com/generate_204 5 10 Google http://www.google-analytics.com/generate_204 6 4 Google http://www.google.com/generate_204 0 10 Google http://connectivitycheck.gstatic.com/generate_204 4 10 Apple http://captive.apple.com 3 10 Apple http://www.apple.com/library/test/success.html 7 10 Microsoft http://www.msftconnecttest.com/connecttest.txt 5 10 Cloudflare http://cp.cloudflare.com/ 4 10 Firefox http://detectportal.firefox.com/success.txt 5 10 V2EX http://www.v2ex.com/generate_204 0 10 ...
阅读全文

随身WiFi折腾指南: 解锁、刷机与DIY

发布于
市面上随身Wifi的产品层出不穷，我也入手了两个，记录一下折腾的步骤。 目前较多的是中兴微和高通骁龙410两个版本，对于只是想插自己的卡的用户，推荐购买中芯微芯片轻型Linux系统的随身wifi，因为这种产品在稳定性和发热量方面表现较好，无需额外折腾；如果用户想搞机，推荐购买高通骁龙410纸盒系列的随身wifi，这种产品拥有很高的可玩性，可以刷出各种不同的操作系统或软路由等，相对灵活。 拿到手根据以下步骤折腾： 1. 解锁sim卡槽密码 获取解锁sim卡槽密码，这是进行手机解锁操作所必要的步骤之一 http://192.168.0.1/goform/goform_get_cmd_process?cmd=unlock_network_code 2. 移除商家远控后台 开启ADB命令。该命令通常用于与手机进行调试和控制 http://192.168.0.1/goform/goform_set_cmd_process?goformId=SET_DEVICE_MODE&debug_enable=1 当用户使用`nv`命令时，表示正在修改或查询机器的某些固件参数。以下是对所有出现的`nv`命令的解释： - `nv show`：查看所有可设置的参数； - `nv set mqtt_host=127.0.0.1`：将 MQTT 服务器的主机地址设置为本地； - `nv set fota_updateMode=0`：禁止自动下载固件更新； - `nv set os_url=http://127.0.0.1`：将系统软件更新服务器的地址设置为本地； - `nv set lpa_trigger_host=127.0.1`：将选定的服务地址设置为本地； - `nv set safecare_hostname=127.0.0.1`：将 Safecare 服务器的主机地址设置为本地； - `nv set safecare_mobsite=http://127.0.0.1`：将手机站点地址设置为本地； - `nv set TM_SERVER_NAME=127.0.0.1`：将 TM 服务器的主机地址设置为本地； - `nv set lpa_trigger_updata_url=/`：将选定的服务地址设置为根目录； - `nv set lpa_trigger_event_url=/`：将...
阅读全文

日本前核电厂技师的泣血控诉

发布于
　　福岛核电站前核电厂技师，设施配管1级技士平井宪夫(1997年1月因癌症逝世)生前的最后吶喊。 　　我不是反核运动家。这20年来，我一直在核电厂工作。社会上有听不完的拥核反核理论，但我只想在这裡告诉大家：「所谓的核电厂是这样一回事。」大部份的人都不知道核电内部的实际情形。希望大家有耐心把这篇文章读完。所谓核电，跟各位所想的或许有点出入。在那裡，每天都有遭受放射线污染的工人，以及严重的岐视產生。 　　我的专长，是负责大型化学工场的内部配管施工与维修。快30岁时，日本掀起了一阵核电建设的风潮。核电内部有错综复杂的配管，正好是我发挥专长的大好舞台。因此我被核电製造商挖角，长期担任工程现场的监督人员，一晃眼就过了20年。 　　 「安全」是纸上谈兵 　　1995年1月发生阪神大地震。地震隔天我到了神户，看到倾倒的新干线与断裂的高速公路。不禁发起一阵省思。因為这些公共建设实在与核电厂有太多相似点。大家或许认為，核电、新干线、高速公路这些攸关人命的建设，平日应该受到政府严格控管。但是看到倒下的高架支柱，不是混凝土裡夹杂著施工初期的定型木片，不然就是焊接处焊的乱七八糟。為什麼会发生这些事呢？这不仅仅是施工单位的不用心，其实问题的本质，是我们都太过於注重「理论上的安全」了。 　　 「素人造核电」 　　核电厂裡面，铁丝掉进原子炉、工具掉进配管裡卡住的人為疏失可说是层出不穷。為什麼会这样？因為工程现场裡「有真功夫的师父」实在是太少了。不管核电设计有多完美，实际施工却无法做到与原设计一模一样。核电的蓝图，总是以技术顶尖的工人為绝对前提，做出不容一丝差错的完美设计。但却从来没有人讨论过，我们的现场人员到底有没有这种能耐。 　　早期的工地，总是会叫经验老道的老师父来做「班长」。他们比那些年轻的监督人员有经验，并注重名誉，不允许错误发生在自己手上。但现在，老师父已几近凋零。建设公司在徵人广告上以「经验不拘」做為求才条件。这些没经验的素人，不知道核能事故的可怕，也不知道自己负责的部位有多重要。东京电力的福岛核电，曾因铁丝掉进原子炉，差点发生席卷世界的重大事故。把铁丝弄掉的工人知道自己犯了错，却完全无法想像这个错会造成如此可怕的事故。这就是现在核电现场的实际状况。 　　老师父一个接一个退休了。建商也查觉到这件事。因此把工程图尽量分割简化，做出连菜鸟也看的懂的製造手册。菜鸟们在现场有如堆积木般地组装...
阅读全文

mihomo各平台客户端下载(windows, android, macos)

发布于
mihomo是一个学习工具，目前客户端众多，本文只节选每个平台上够用的版本。 以下搜集各平台版本的下载链接： Windows X64: Clash.Mini_v0.2.2_x64.zip X86:  Clash.Mini_v0.2.2_x86.zip Mac ClashX.Meta.zip Android ARMv8: cmfa-2.11.11-meta-arm64-v8a-release.apk ARMv7: cmfa-2.11.11-meta-armeabi-v7a-release.apk 其中如果遇到缺失GeoIP或GeoSite文件的，可通过以下链接下载： GeoIP.dat GeoSite.dat Country.mmdb 浏览器扩展可以使用： zeroomega-3.3.23.crx zeroomega-3.3.23.xpi
阅读全文

Debian 12上使用Nginx代理TCP流量，并配置IPv6白名单访问控制

发布于
 在部署基于 TCP 的应用程序（如数据库服务）时，安全性和访问控制是常见的需求之一。有时候只希望特定白名单的IPv6地址访问特定的端口。使用 Nginx 作为 TCP 代理，可以实现高效灵活的流量管理。本文记录了如何在 Debian 12 上使用 Nginx 来实现 TCP 流量代理和 IPv6 白名单控制。 准备环境 系统: Debian 12。 Nginx 版本: 确保安装的 Nginx 版本支持 stream 模块。使用 nginx -V 检查是否包含 --with-stream=dynamic。 权限: 访问和编辑配置文件通常需要 root 权限。 安装 Nginx 和 Stream 模块 如果未安装 Nginx，可以通过以下命令安装： apt update apt -y install nginx 接下来，安装 libnginx-mod-stream 模块以支持 TCP 和 UDP 流量代理： apt -y install libnginx-mod-stream Nginx 和 stream 模块安装完成后，Debian 的 Nginx一般会自动加载模块并重载Nginx。 配置 TCP 流量代理和 IPv6 白名单 编辑 Nginx 配置文件（位于 /etc/nginx/nginx.conf），在 http 模块的同级目录下添加 stream 代码块来配置 TCP 流量的转发： stream {     server {         listen [::]:1234 ipv6only=on; # 仅监听特定的 IPv6 地址和端口         allow [YOUR_IPV6_ADDRESS_HERE]; # 允许特定的 IPv6 地址         deny all; # 拒绝其他地址         proxy_pass 127.0.0.1:1234; # 转发至本地的 IPv4 地址和端口         # 可选配置：设置超时等         proxy_connect_...
阅读全文

移动联通电信年底积分兑换话费（防止清零）

发布于
年底了，你知道手机卡运营商积分如果不兑换就会清零吗？很多人忽略了这一点，结果白白浪费了福利。本文教你 联通、移动、电信积分兑换话费的方法，赶紧操作，别让积分过期！ 联通用户 编辑短信：JFJF#Q 发送到 10010 或登录 联通手机营业厅App → 我的 → 积分查询 移动用户 编辑短信：HF 发送到 10658999 或打开 中国移动App → 我的 → 积分 电信用户 编辑短信：106 发送到 10001 或使用 电信营业厅App → 我的 → 积分
阅读全文

Cromite - 极度注重隐私的Chromium浏览器

发布于
Cromite 是基于Bromite的Chromium分支，具有内置的广告拦截支持和隐私保护功能。  Cromite 适用于 Android arm64-v8a、arm32-v7a 和 x86_64、Nougat 及更高版本（最低 v8.0，API 级别 26）、Windows 和 Linux 64 位。 Cromite的目标是 限制浏览器内置的可用作跟踪用户习惯平台的功能，如果技术上不可行，则禁用它们并让用户选择是否重新启用它们  限制浏览器与其制造商之间的紧密结合 在具体的使用过程中，我发现确实能最大程度的保证隐私，甚至出现我在NoVNC中按Ctrl+C不能复制内容的情况（估计是拦截了可能出现的按键泄露风险）。所以我的结论是，如果为了极度注重隐私，可以考虑这款浏览器。而普通的用户，也许Chromium或另一款Thorium更值得尝试。 下载页：https://github.com/uazo/cromite/releases  
阅读全文

迅速成为健谈的人

发布于
　　以前我也不喜欢聊天，还特别讨厌在QQ上聊，感觉就是浪费时间，真正有事情的时候才说一下，非常直截了当，毫无废话。后来上了培训课，发现自己的缺点，马上进步了很多。碰到陌生人也不尴尬，聊的时间越来越长。 　　其实我的缺点大部分人都有。 　　第一个问题出在“祸从口出，病从口入。多做事，少说话。”这些小心处世的理论。这个理论害得人不少，中国寡言的人大多都是它的受害者。很少说错话是做到了，可惜给人印象=老实人，不主动打招呼不礼貌，坐在一起很无聊，没话题。 　　改正—-其实应该多说话，说自己想说的话，就是说错了也没问题，做真正的自己。其实人们更喜欢展现真正自我的人。说多了，口才自然会好，反应也快，很少会说错，就是说错了也有办法扭转过来。 　　第二个问题出在男人与女人的区别，思维方式的区别。男人的思维是理性思维，非常逻辑性的，直指目标，毫无累赘。女人是感性思维，以自己的感觉为主，很少客观考虑问题。打个比方，小时候，你的叔叔阿姨来串门。爸爸跟叔叔聊的都是什么呢？大都是这个地涨了，那个什么跌了，我的朋友在哪里做什么很成功，而且能说出为什么成功的理由。或者聊体育，这个怎么，那个怎样都能聊出个道理来，有自己的思路。你坐在旁边听了一会儿，也学到了点东西。现在，妈妈跟阿姨都聊些什么呢，谁家的谁脸上豆真多啊，哪里的女儿跟款爷跑了，大多是些八卦。你在旁边坐了半天什么也没学到。不是比谁的思维方式比较好，个有好处。理性思维的缺点就是直截了当，没话聊天，没事情就没话。 　　改正—-说话的时候，改变一下，不要先想再说，要先说再想。就是让自己有什么话就说什么，不要想太多。真的，很管用！绝对不会让你变成鲁莽，胡乱说话的人。我给你个例子，自己训练一下。我随便说一个词，你要根据这个词说出一大段话来。比如“沙发”。你就任自己的想象力发挥，想到哪说到哪：我家的沙发已经有3年了，白色的仿真皮。虽然有点旧了，我们都离不开它。每天吃完饭，一家人都会坐在上面，看电视，坐着也有，躺着也有。有时候为了抢最好的位置还争个不休，哈哈。沙发给我的是美好的记忆。对，就这样，乱说一通，能说越多越好。这样训练多了，会发现聊天其实一点也不难。为什么女人能几个小时挂在电话上聊个不停，她们没聊出什么重要问题，就是瞎聊。 　　如果女人问你，你喜欢吃面吗？我们很多时候都是怎么回答的？喜欢，或不喜欢。然后她再问你，你是学生吗？...
阅读全文

我真的受伤了 - 张学友

发布于
基本信息 　　中文名称：我真的受伤了 歌曲原唱：张学友 　　所属专辑：学友.热 填词：王菀之 　　歌曲时长：03:30 谱曲：王菀之 　　发行时间：2001-09-26 MV导演：马宜中 歌曲语言：国语 　　 我真的受伤了 　　演唱：张学友 　　窗外阴天了 　　音乐低声了 　　我的心开始想你了 　　灯光也暗了 　　音乐低声了 　　口中的棉花糖也融化了 　　窗外阴天了 　　人是无聊了 　　我的心开始想你了 　　电话响起了 　　你要说话了 　　还以为你心里对我又想念了 　　怎么你声音变得冷淡了 　　是你变了 　　是你变了 　　灯光熄灭了 　　音乐静止了 　　滴下的眼泪已停不住了 　　天下起雨了 　　人是不快乐 　　我的心真的受伤了 　　电话响起了 　　你要说话了 　　还以为你心里对我又想念了 　　怎么你声音变得冷淡了 　　是你变了 　　是你变了 　　灯光熄灭了 　　音乐静止了 　　滴下的眼泪已停不住了 　　天下起雨了 　　人是不快乐 　　我的心真的受伤了 　　我的心真的受伤了 　　 歌曲鉴赏 　　《我真的受伤了》这首歌放在第三首，可能学友和欧丁玉也觉得这首安安静静的小调的确是上品，对它抱有期望。听着认为仅一首歌就可以证明词、曲作者王菀之是个才女。的确，本专辑后来流行起来的歌主要就是这一首以及《如果这都不算爱》，而是网上被做成Flash版本最多的，还是这一首。 　　 　　淡淡忧伤牵动人心，一首小诗就是歌词，还整齐到从头到尾都是“了”字尾，只有倒数第二句字不同音同。刚刚恋爱的人经常有歌中的心情，谈过恋爱的听到这首歌也会回忆起刚刚恋爱时的心情，很容易引起大家的共鸣。学友的轻声哼唱和着简单的吉它字字轻叩人们的心扉，落在心里又被各自的故事放大一百倍。 　　学友不去用被人称道的张力十足厚浑洪亮的那种方式，而是如此温柔细腻，还是那么出众。虽然我这是废话，这一点许多年前就被证明了，而且这首歌只能这样唱。 　　 社会影响 　　《我真的受伤了》是歌手张学友(Jacky Cheung)2001年推出的音乐专辑《学友.热》中的一首歌曲。这首歌影响很大，深受年轻人的喜爱，翻唱者不胜枚举，KTV点唱率永远的前五名。 　　 　　 歌手介绍 　　张学友，1961年7月10日生于香港，是一位在亚洲地区和整个华人社会具有影响力的实力派音乐巨星和著名电影演员，香港乐坛“四大天王”之一，在华语地区享...
阅读全文

警惕！教你如何分辨真假鸡蛋(图详)

发布于
人造鸡蛋的蛋壳是用碳酸钙做的，蛋黄和蛋清则是用海藻酸钠、明矾、明胶、食用氯化钙加水、色素等制成。其做法先将一定量的海澡酸钠倒入一盆温水内搅拌成蛋白状物体，用明胶拌匀。 用明胶拌匀，再加苯甲酸纳、白矾等其它化学品混入制成蛋白，而蛋黄只是加些柠檬黄色素，再加氯化钙混合倒入模具形成蛋形，产生蛋的薄膜，蛋壳则是用石蜡、石膏粉、碳酸钙等制成。 人造鸡蛋所用的都是化学成分，主要是利用海藻酸钠的钙化，顶多就是一个凝胶体，其中的明矾、明胶等平时只是作为食品的添加剂、辅助剂，而国家标准对添加剂用法、用量都有明确规定，在人造鸡蛋中却成了主要成分，对人体没什么好处，营养角度上与真鸡蛋相比更是不可同日而语。 煮过之后的假鸡蛋，惨不忍睹 如何识别人造鸡蛋：打开的鸡蛋，蛋清和蛋黄很快就融合在一起 　　1、假鸡蛋蛋壳的颜色比真鸡蛋的外壳亮一些，但不太明显。 　　2、用手触摸假鸡蛋蛋壳，会觉得比真鸡蛋粗糙一些。 　　3、在晃动假鸡蛋时会有声响，这是因为水分从凝固剂中溢出的缘故。 真假鸡蛋人们很难分辨 4、用鼻子细细地闻，真鸡蛋会有隐隐的腥味。 5、轻轻敲击，真鸡蛋发出的声音较脆，假鸡蛋声音较闷。 6、假鸡蛋打开后不久，蛋黄和蛋清就会融到一起。这是因为蛋黄与蛋清是同质原料制成所致。 7、在煎假蛋时，会发觉蛋黄在没有搅动下自然散开。 打开的鸡蛋，蛋清和蛋黄很快就融合在一起 以下是制作假鸡蛋的过程： 制作原料 主要是海藻酸钠水溶液还有氯化钙等化学材料。 我们可以算笔账：以1公斤鸡蛋在6.5元左右为例。1公斤的海藻酸钠只需要42元钱，能制作出150公斤的假鸡蛋，加上其他费用，1公斤假鸡蛋的成本才0.55元左右。 将一些已经浸泡过的海藻酸钠水溶液，调节浓度，搅拌均匀，一会儿就形成一种看上去微白透明，和蛋清一样有黏度的液体，这就是“鸡蛋清”了。 把这种液体分出一部分，加入少量的柠檬黄食品色素，调节颜色的深浅与鸡蛋黄的颜色近似，这就是“蛋黄”的雏形。 固定“蛋黄” 然后，将这些形似蛋黄的液体用球型容器装了，迅速放入溶解了氯化钙的水中，“鸡蛋黄”外面迅速形成一层透明的凝固物，一分钟后，“鸡蛋黄”就成形了。 将“蛋黄”灌入“蛋壳” ■将凝固了的人造鸡蛋黄放入人造鸡蛋清中，基本上鸡蛋的“内容部分”就做好了。 ■最后将“蛋黄”、“蛋清”再放入事先用碳酸钙做的蛋壳中，封口后，一个用化学原料制作的完整“鸡蛋”就做好了。...
阅读全文