时时商务社区

标题: 一个基于phpQuery的php通用采集类分享 [打印本页]

作者: bewin83 时间: 2018-2-14 05:59

         一、采集类源码
[U]复制代码[/U] 代码如下:
array("选择器","类型"),.......)
      * 【类型】说明：值 "text" ,"html" ,"属性"
      *【块选择器】：指先按照规则选出几个大块，然后再分别再在块里面进行相关的选择
      *************************************************/
      function QueryList($pageURL,$regArr=array(),$regRange='')
      {
         $this->pageURL = $pageURL;
         //为了能获取https://
            $ch = curl_init();
            curl_setopt($ch, CURLOPT_URL,$this->pageURL);
            curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
            curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
            curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
            $this->html = curl_exec($ch);
            curl_close($ch);
         if(!empty($regArr))
         {
               $this->regArr = $regArr;
               $this->regRange = $regRange;
               $this->getList();
         }
      }
      function setQuery($regArr,$regRange='')
      {
         $this->jsonArr=array();
         $this->regArr = $regArr;
         $this->regRange = $regRange;
         $this->getList();
      }
      private function getList()
      {
         $hobj = phpQuery::newDocumentHTML($this->html);
         if(!empty($this->regRange))
         {
         $robj = pq($hobj)->find($this->regRange);
            $i=0;
         foreach($robj as $item)
         {
               while(list($key,$reg_value)=each($this->regArr))
               {
                  $iobj = pq($item)->find($reg_value[0]);
                     switch($reg_value[1])
                     {
                        case 'text':
                              $this->jsonArr[$i][$key] = trim(pq($iobj)->text());
                              break;
                        case 'html':
                              $this->jsonArr[$i][$key] = trim(pq($iobj)->html());
                              break;
                        default:
                              $this->jsonArr[$i][$key] = pq($iobj)->attr($reg_value[1]);
                              break;
                     }
               }
               //重置数组指针
               reset($this->regArr);
               $i++;
            }
         }
         else
         {
         while(list($key,$reg_value)=each($this->regArr))
         {
            $lobj = pq($hobj)->find($reg_value[0]);

               $i=0;
               foreach($lobj as $item)
               {
                     switch($reg_value[1])
                     {
                        case 'text':
                              $this->jsonArr[$i++][$key] = trim(pq($item)->text());
                              break;
                        case 'html':
                              $this->jsonArr[$i++][$key] = trim(pq($item)->html());
                              break;
                        default:
                              $this->jsonArr[$i++][$key] = pq($item)->attr($reg_value[1]);
                              break;
                     }

               }

         }
         }
      }
      function getJSON()
      {
         return json_encode($this->jsonArr);
      }
}
二、使用例子
[U]复制代码[/U] 代码如下:
//采集OSC的代码分享列表，标题链接作者
$url = "http://www.oschina.net/code/list";
$reg = array("title"=>array(".code_title a:eq(0)","text"),"url"=>array(".code_title a:eq(0)","href"),"author"=>array("img","title"));
$rang = ".code_list li";
$hj = new QueryList($url,$reg,$rang);
$arr = $hj->jsonArr;
print_r($arr);
//如果还想采当前页面右边的 TOP40活跃贡献者图像，得到JSON数据,可以这样写
$reg = array("portrait"=>array(".hot_top img","src"));
$hj->setQuery($reg);
$json = $hj->getJSON();
echo $json . "";
//采OSC内容页内容
$url = "http://www.oschina.net/code/snippet_186288_23816";
$reg = array("title"=>array(".QTitle h1","text"),"con"=>array(".Content","html"));
$hj = new QueryList($url,$reg);
$arr = $hj->jsonArr;
print_r($arr);
//就举这么多例子吧，是不是用来做采集很方便


您可能感兴趣的文章:

PHP 采集程序常用函数

php file_get_contents函数轻松采集html数据

开启CURL扩展，让服务器支持PHP curl函数(远程采集)

基于PHP的cURL快速入门教程 (小偷采集程序)

PHP采集利器 Snoopy 试用心得

php使用curl模拟登录后采集页面的例子

基于PHP的简单采集数据入库程序

PHP实现采集抓取淘宝网单个商品信息

PHP制作百度词典查词采集器

欢迎光临时时商务社区 (http://bbs.4435.cn/)