php获取网页内容的三种方法

发布于

用php抓取页面的内容在实际的开发当中是非常有用的，如作一个简单的内容抓取器，提取网页中的部分内容等等

抓取到的内容在通过正则表达式做一下过滤就得到了你想要的内容，至于如何用正则表达式过滤，在这里就不做介绍了，有兴趣的，以下就是几种常用的用php抓取网页中的内容的方法。

1.file_get_contents

2.curl
3.fopen->fread->fclose
注：
1. 使用file_get_contents和fopen必须空间开启allow_url_fopen。方法：编辑php.ini，设置 allow_url_fopen = On，allow_url_fopen关闭时fopen和file_get_contents都不能打开远程文件。
2.使用curl必须空间开启curl。方法：windows下修改php.ini，将extension=php_curl.dll前面的分号去掉，而且需要拷贝ssleay32.dll和libeay32.dll到C:WINDOWSsystem32下；Linux下要安装curl扩展。
link

评论

发表评论

Popular Posts

随身WiFi折腾指南: 解锁、刷机与DIY

发布于
市面上随身Wifi的产品层出不穷，我也入手了两个，记录一下折腾的步骤。 目前较多的是中兴微和高通骁龙410两个版本，对于只是想插自己的卡的用户，推荐购买中芯微芯片轻型Linux系统的随身wifi，因为这种产品在稳定性和发热量方面表现较好，无需额外折腾；如果用户想搞机，推荐购买高通骁龙410纸盒系列的随身wifi，这种产品拥有很高的可玩性，可以刷出各种不同的操作系统或软路由等，相对灵活。 拿到手根据以下步骤折腾： 1. 解锁sim卡槽密码 获取解锁sim卡槽密码，这是进行手机解锁操作所必要的步骤之一 http://192.168.0.1/goform/goform_get_cmd_process?cmd=unlock_network_code 2. 移除商家远控后台 开启ADB命令。该命令通常用于与手机进行调试和控制 http://192.168.0.1/goform/goform_set_cmd_process?goformId=SET_DEVICE_MODE&debug_enable=1 当用户使用`nv`命令时，表示正在修改或查询机器的某些固件参数。以下是对所有出现的`nv`命令的解释： - `nv show`：查看所有可设置的参数； - `nv set mqtt_host=127.0.0.1`：将 MQTT 服务器的主机地址设置为本地； - `nv set fota_updateMode=0`：禁止自动下载固件更新； - `nv set os_url=http://127.0.0.1`：将系统软件更新服务器的地址设置为本地； - `nv set lpa_trigger_host=127.0.1`：将选定的服务地址设置为本地； - `nv set safecare_hostname=127.0.0.1`：将 Safecare 服务器的主机地址设置为本地； - `nv set safecare_mobsite=http://127.0.0.1`：将手机站点地址设置为本地； - `nv set TM_SERVER_NAME=127.0.0.1`：将 TM 服务器的主机地址设置为本地； - `nv set lpa_trigger_updata_url=/`：将选定的服务地址设置为根目录； - `nv set lpa_trigger_event_url=/`：将...
阅读全文

Cromite - 极度注重隐私的Chromium浏览器

发布于
Cromite 是基于Bromite的Chromium分支，具有内置的广告拦截支持和隐私保护功能。  Cromite 适用于 Android arm64-v8a、arm32-v7a 和 x86_64、Nougat 及更高版本（最低 v8.0，API 级别 26）、Windows 和 Linux 64 位。 Cromite的目标是 限制浏览器内置的可用作跟踪用户习惯平台的功能，如果技术上不可行，则禁用它们并让用户选择是否重新启用它们  限制浏览器与其制造商之间的紧密结合 在具体的使用过程中，我发现确实能最大程度的保证隐私，甚至出现我在NoVNC中按Ctrl+C不能复制内容的情况（估计是拦截了可能出现的按键泄露风险）。所以我的结论是，如果为了极度注重隐私，可以考虑这款浏览器。而普通的用户，也许Chromium或另一款Thorium更值得尝试。 下载页：https://github.com/uazo/cromite/releases  
阅读全文

为什么你学的越多，越没法行动？

发布于
　　行动，只有行动能带来生活的改变，这个不用说了。 　　我在职业发展课上讲了十二小时，最后让大家写这个课程你印象最深的一句话。 　　很多人写：“如果不行动，听多少课都是这个怂样。” 　　如果只能记得一句，那这一句就很好。 　　 　　在线教育的最大好处，是抹去时间空间的限制——大家可以在晚上七点半坐在你们天南海北的家里、床上或沙发中听讲，我也能穿着短裤衣衫不整的对着话筒滔滔不绝。但是在线教育的最大坏处，就是你学的越多，却越没法行动。这不是我的断言，2013年MOOC做的测试是，大部分课程的完成率都不到20%，而线下课程是60%左右，是他的三倍。 　　一方面是因为网络干扰实在太多，你一边听课一边看优酷还开一个YY女主播关掉声音给我配画面。另外一个理由是，即使从心理学来说，知识和行动并不成正比，在过了某一个区间之后——你学的越多，往往越没法行动。 　　1.改变自己的三个要素： 　　为什么？ 　　首先了解下行动的基本心理动力公式，也被称为“变革公式”。 　　 DVF > R 　　不满*愿景*下一步 > 阻力 　　（Dissatisfaction不满 Vision 愿景 First step 第一步指令 阻力Resistance） 　　简单来说，你的动机被三个东西所推动 　　D: 对于现状，你有多不满？ 　　V: 对于行动背后的结果，你有多期待？ 　　F: 对于下一步行动，你有多清晰？ 　　这三者的乘积一旦大于面前的阻力，行动就来了。反之，只要其中有一个为零，另外两个再大也没有用。 　　 举个例子： 前段时间为什么那么多从来不炒股的大妈开始炒股？ 　　在之前，股票的阻力R是巨大的——很麻烦，需要动用存款、要重新开户、还要承担风险，所以大妈参与者寥寥。 　　但是随着股市变热，左边三个乘积逐渐上升——有人陆陆续续赚到了钱，股票的收益越来越大（V），开户变得越来越简单，找个早上拿着APP对摄像头说句话就能开(F)，但是真正促进大妈投身股海的是“身边有个二货赚到了钱”，最后这一条创造了强大的不满感——我靠她都能赚钱！我也要！这三股力量乘积起来大过了阻力，大妈炒股就开始松动起来——一旦第一批入市大妈赚钱回去在广场舞场景病毒式传递不满感，这个事情就引爆了。 　　换个互联网创业的思维——在产品经理这，这三个要素叫做“痛点（D）” “价值点（V）”和“指示清晰简单（F）”，抓住这...
阅读全文

解决Ubuntu桌面上Free Download Manager无法打开的问题

发布于
在 Ubuntu Desktop 24.04 LTS 上安装 Free Download Manager 后，点击其图标时程序无法打开。这个问题通常与 Ubuntu 系统更新后的兼容性有关。 新的 Ubuntu 更新可能会影响 Free Download Manager 的某些安全功能，例如 SSL 和 TLS。   解决方法是安装 `libxcb-cursor0`。请在终端中运行以下命令： sudo apt install libxcb-cursor0  
阅读全文

如何快速手工测试VPS上行和下行速度

发布于
通常对于一台Linux服务器有各种测试脚本用于测试其性能，参数，网络，但是对于服务器到本地的上行和下行速度，最简单的还是通过上传下载来测试。 测试服务器下行速度 这里通过下载100M大小的测试文件来测试服务器的下行速度 wget -O /tmp/100m.test "https://speed.cloudflare.com/__down?during=download&bytes=100000000" 测试服务器上行速度 这里通过设置nginx配置，然后在浏览器中直接下载刚刚测速的100M测试文件，来测试服务器的上行速度 修改Nginx配置，在合适的位置添加： location =/100m.test { root /tmp; } 然后访问 http://服务器地址/100m.test 下载即可
阅读全文

Debian 12上使用Nginx代理TCP流量，并配置IPv6白名单访问控制

发布于
 在部署基于 TCP 的应用程序（如数据库服务）时，安全性和访问控制是常见的需求之一。有时候只希望特定白名单的IPv6地址访问特定的端口。使用 Nginx 作为 TCP 代理，可以实现高效灵活的流量管理。本文记录了如何在 Debian 12 上使用 Nginx 来实现 TCP 流量代理和 IPv6 白名单控制。 准备环境 系统: Debian 12。 Nginx 版本: 确保安装的 Nginx 版本支持 stream 模块。使用 nginx -V 检查是否包含 --with-stream=dynamic。 权限: 访问和编辑配置文件通常需要 root 权限。 安装 Nginx 和 Stream 模块 如果未安装 Nginx，可以通过以下命令安装： apt update apt -y install nginx 接下来，安装 libnginx-mod-stream 模块以支持 TCP 和 UDP 流量代理： apt -y install libnginx-mod-stream Nginx 和 stream 模块安装完成后，Debian 的 Nginx一般会自动加载模块并重载Nginx。 配置 TCP 流量代理和 IPv6 白名单 编辑 Nginx 配置文件（位于 /etc/nginx/nginx.conf），在 http 模块的同级目录下添加 stream 代码块来配置 TCP 流量的转发： stream {     server {         listen [::]:1234 ipv6only=on; # 仅监听特定的 IPv6 地址和端口         allow [YOUR_IPV6_ADDRESS_HERE]; # 允许特定的 IPv6 地址         deny all; # 拒绝其他地址         proxy_pass 127.0.0.1:1234; # 转发至本地的 IPv4 地址和端口         # 可选配置：设置超时等         proxy_connect_...
阅读全文

使用AdGuard的公共dns屏蔽广告

发布于
 AdGuard是一系列用于网页浏览器及跨平台内容过滤的广告拦截和隐私保护软件、开放源代码和共享软件的浏览器扩展程序产品，AdGuard允许用户使用阻止广告等页面元素的显示，借此保护用户免受不必要的广告、弹出窗口、视频、文字、横幅、跟踪、淫秽内容、恶意网站及软件和网络钓鱼的危害。 而除了安装并使用AdGuard软件以外，最快捷的方式就是使用它的公共DNS服务。在操作系统的dns设置中，可以设置以下公共DNS，实现屏蔽广告： 94.140.14.14 94.140.15.15 ipv6用户可以同时设置： 2a10:50c0::ad1:ff 2a10:50c0::ad2:ff 也可以在浏览器的设置中，使用DNS over HTTPS（DoH）： https://dns.adguard-dns.com/dns-query 更多的设置可以参考 这里 。
阅读全文

腾讯云国内服务器重装系统并设置内网源镜像，docker内网加速镜像等

发布于
以debian 11为例，国内服务器访问debian源和docker hub源速度缓慢，为了解决这个问题，需要做一些加速镜像的设置。由于腾讯云建立了内网加速镜像，使用内网加速比网络上的一些公开镜像速度更快且更稳定一些。适合腾讯云的服务器使用。 默认从腾讯云官网重装系统后，会自动帮你设置好这些，并贴心的安排上agent。但是对于dd后的纯净系统来说，需要自己手动设置一下，记录如下： 设置内网dns 编辑 /etc/resolv.conf nameserver 183.60.83.19 nameserver 183.60.82.98 设置系统加速镜像 这里以debian 11为例。编辑 /etc/apt/sources.list deb http://mirrors.tencentyun.com/debian/ bullseye main contrib non-free deb http://mirrors.tencentyun.com/debian/ bullseye-updates main contrib non-free deb http://mirrors.tencentyun.com/debian/ bullseye-backports main contrib non-free deb http://mirrors.tencentyun.com/debian-security bullseye-security main contrib non-free 设置docker hub加速镜像 安装好docker之后，编辑 /etc/docker/daemon.json {     "registry-mirrors": [         "http://mirror.ccs.tencentyun.com"     ] } 然后执行 systemctl restart docker 使修改生效。  
阅读全文

使用 Nginx 状态码 444 提升 HTTPS 服务安全性，屏蔽 HTTP 497 访问提示

发布于
网络安全至关重要，特别是在提供 HTTPS 服务时。本文介绍如何使用 Nginx 的状态码 444 来防止未授权访问和潜在安全问题。  444 是 Nginx 特有的状态码，用于强制关闭客户端连接，不返回任何响应，有效拒绝了不合法请求，避免信息泄露。在提供 HTTPS 私密服务时，非法用户可能尝试探测端口，这不仅浪费资源，还可能带来安全风险。通过 Nginx 配置状态码 444，可以隐藏服务存在，保护隐私。   下面是使用状态码 444 保护 HTTPS 服务的基本 Nginx 配置： server {     listen 443 ssl default_server;     server_name _;       ssl_certificate /path/to/your/certificate.crt;     ssl_certificate_key /path/to/your/private.key;       location / {         return 444;     }       error_page 497 = @close;     location @close {         return 444;     } } 其中 listen 443 ssl;：监听 443 端口，启用 SSL。 location / { return 444; }：根路径请求直接返回 444，拒绝访问。 error_page 497 = @close;：HTTP 访问 HTTPS 端口时重定向到 @close。 location @close { return 444; }：497 错误时返回 444，关闭连接。 使用 Nginx 状态码 444 是保护 HTTPS 服务的方法，有以下好处： ...
阅读全文

我和公司博弈的经历（学习积攒和使用权力）

发布于
今年年中和公司撕加薪，我威胁要找下家，然后去投简历但是没有很好的反响，我开始思考我的简历是不是哪裏不够好。投shopify的时候有一个问题令我印象深刻，问我的经验裏有没有“accountable for the project’s success”（为项目的成功负责），我发现我虽然做了很多工作，但确实很少完全拥有一个项目，并且为这个项目负责。我的习惯是不担不必要的责任，一部分也是因为公司的其他人办事能力太差，我不想白白为他们承担责任，我的收入和付出不成比例。 但我发现，如果一直处在游离的状态，可能会在未来让我陷入更大的困境，用跳槽来谈判加薪失败那就是很大的警钟了。我意识到在这个公司的工作成果无论如何会是我的名片，其实我没有选择，无论雇主是谁我都只能尽可能做到最好，才是对我自身最有利的。 中间有一次我抱怨其他同事不追求写好代码，一直在给我制造麻烦，上司说我的天赋是一种特权，并不是所有人都会像我一样幸运，而且就算我到一线的公司，也不会所有人都和我一样的。我当时嗤之以鼻，觉得他只是想要pua我，但我现在觉得有道理，能把事情做好是我的特长，没必要纠结和别人比较而不发挥自己的特长，那么环境就更不会变好了。 如果我要为这个部门负责，那么我就要考虑把精力投入到哪裏才是最有效率的，这就涉及到这个部门在公司的现状。我觉得最首要的问题是，理论上决定技术方案是我们技术部门的职责，但在我们公司方案往往是其他部门或者上层强加的，也就是外行领导内行。而之所以会这样，是因为我们部门过往工作的质量和效率都有问题，所以在公司内不被信任，各方都以此为理由把他们的想法强加到我们身上，而更糟糕的方案又会进一步拖慢我们的效率，恶性循环。 实际上这应该是我的上司，也就是部门主管考虑的问题，但是他本身不懂技术，这就导致他非常弱势，完全没能力抵抗上上司（一位有工程背景觉得自己很懂技术的管理层）的意见。要挽救我们部门，最重要的是把权力从上上司那裏夺回来，我们必须坚持自己的原则，即需求方只提需求，不能干涉我们的技术实现。于是虽然我之前很鄙视我的上司，我决定与他结成同盟，我提供他欠缺的技术支持，而他要协同我夺回部门的权力。这是我第一次感觉到，虽然他欠缺关键的能力，但只要应用得当也能为我提供助力，我感觉突然理解了「管理」这个词。 由于得到了主管的支持（他的弱势导致其实没办法约束我），我可以自由安排在部门内的活动，我可以自...
阅读全文