时时商务社区

标题: 探讨file_get_contents与curl效率及稳定性的分析 [打印本页]

作者: bewin83 时间: 2018-2-14 08:21

         做过好多抓取别家网站内容的产品，习惯了使用方便快捷的file_get_contents函数，但是总是会遇到获取失败的问题，尽管按照手册中的例子设置了超时，可多数时候不会奏效：
[U]复制代码[/U] 代码如下:
$config['context'] = stream_context_create(array(‘http' => array(‘method' => “GET”,
'timeout' => 5//这个超时时间不稳定，经常不奏效
)
  ));
这时候，看一下服务器的连接池，会发现一堆类似的错误，让你头疼万分：
file_get_contents(http://***): failed to open stream…
不得已，安装了curl库，写了一个函数替换：
[U]复制代码[/U] 代码如下:
function curl_file_get_contents($durl){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $durl);
curl_setopt($ch, CURLOPT_TIMEOUT, 5);
curl_setopt($ch, CURLOPT_USERAGENT, _USERAGENT_);
curl_setopt($ch, CURLOPT_REFERER,_REFERER_);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$r = curl_exec($ch);
curl_close($ch);
return $r;
}
如此，除了真正的网络问题外，没再出现任何问题。
这是别人做过的关于curl和file_get_contents的测试：
file_get_contents抓取google.com需用秒数：
2.31319094
2.30374217
2.21512604
3.30553889
2.30124092
curl使用的时间：
0.68719101
0.64675593
0.64326
0.81983113
0.63956594
差距很大吧？呵呵，从我使用的经验来说，这两个工具不只是速度有差异，稳定性也相差很大。建议对网络数据抓取稳定性要求比较高的朋友使用上面的curl_file_get_contents函数，不但稳定速度快，还能假冒浏览器欺骗目标地址哦！


您可能感兴趣的文章:

php中使用Curl、socket、file_get_contents三种方法POST提交数据

比file_get_contents稳定的curl_get_contents分享

深入file_get_contents与curl函数的详解

php采用file_get_contents代替使用curl实例

php中file_get_contents与curl性能比较分析

PHP CURL或file_get_contents获取网页标题的代码及两者效率的稳定性问题

php基于curl重写file_get_contents函数实例

PHP curl 或 file_get_contents 获取需要授权页面的方法

欢迎光临时时商务社区 (http://bbs.4435.cn/)