最新下载
热门教程
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
php curl 抓取页面几种方法介绍
时间:2022-06-24 18:09:28 编辑:袖梨 来源:一聚教程网
是把PHP的主页取回放到一个文件中。
例 1. 使用PHP的CURL模块取回PHP主页
代码如下 | 复制代码 |
$ch = curl_init(); curl_setopt($ch, CURLOPT_URL, "http://localhost/mytest/phpinfo.php"); curl_setopt($ch, CURLOPT_HEADER, false); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //如果把这行注释掉的话,就会直接输出 $result=curl_exec($ch); curl_close($ch); |
2,使用代理进行抓取
为什么要使用代理进行抓取呢?以google为例吧,如果去抓google的数据,短时间内抓的很频繁的话,你就抓取不到了。google对你的ip地址做限制这个时候,你可以换代理重新抓。
代码如下 | 复制代码 |
$ch = curl_init(); curl_setopt($ch, CURLOPT_URL, "http://www.111com.net"); curl_setopt($ch, CURLOPT_HEADER, false); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, TRUE); curl_setopt($ch, CURLOPT_PROXY, 125.21.23.6:8080); //url_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');如果要密码的话,加上这个 $result=curl_exec($ch); curl_close($ch); ?> |
3,post数据后,抓取数据
单独说一下数据提交数据,因为用 curl的时候,很多时候会有数据交互的,所以比较重要的。
代码如下 | 复制代码 |
$ch = curl_init(); |
4,抓取一些有页面访问控制的页面
页面访问控制的3种方法
页面访问控制的3种方法张映 发表于 2010-10-12
分类目录: apache/nginx
我们经常会看到这种现象,看下图
apache 页面访问控制
为什么要进行这样的控制呢,给不同的人看不同的东西,对信息进行保护,虽然这种保护比较低级,多多少少还是有点用的。
一,用htpasswd命令,产生权限控制文件
代码如下 | 复制代码 |
查看复制打印? |
二,页面访问控制方法
1,能过修改httpd.conf或者是httpd-vhosts.conf来进行配置
代码如下 | 复制代码 |
listen 10004 ErrorLog "/home/zhangy/apache/blog.51yip.com.com-error.log" |
2,我们可以利用.htaccess文件来进行控制
在test的根目录下面建一个.htaccess的文件
代码如下 | 复制代码 |
[zhangy@BlackGhost test]$ vi .htaccess //打开个文件 ,添加权限内容 |
3,不用密码文件,也可以进行访问控制
代码如下 | 复制代码 |
define('ADMIN_USERNAME','tank'); // Admin Username //log check echo <<<EOB |
curl相关函数列表:
curl_init — 初始化一个CURL会话
curl_setopt — 为CURL调用设置一个选项
curl_exec — 执行一个CURL会话
curl_close — 关闭一个CURL会话
curl_version — 返回当前CURL版本
curl_init — 初始化一个CURL会话
描述
int curl_init ([string url])
curl_init()函数将初始化一个新的会话,返回一个CURL句柄供 curl_setopt(), curl_exec(),和 curl_close() 函数使用。如果可选参数被提供,那么CURLOPT_URL选项将被设置成这个参数的值。你可以使用curl_setopt()函数人工设置。
例 1. 初始化一个新的CURL会话,且取回一个网页
代码如下 | 复制代码 |
$ch = curl_init(); |
相关文章
- 蚂蚁新村小课堂今日答案12月12日 追得百花鲜迎来生活甜形容的是以下哪种职业的特点 12-23
- 蚂蚁庄园今日答案最新2024.12.13 12-23
- 无限暖暖奇迹之冠第二期巅峰赛怎么玩 12-23
- 光遇12.23每日任务怎么做 12-23
- 王者荣耀QQ飞车联动怎么样 12-23
- 原神5.3版本游迹怎么样 原神5.3版本绘想游迹新增活动介绍 12-23