全国咨询服务热线:18026882179
  • 用php来抓取采集小偷程序逻辑和代码

    时间:2017-10-24 09:57:56

    带缓存的抓取逻辑

    public static function crawlContent($url, $encode = true) {
        $file_name = '../cache/'.md5($url);
        if (!file_exists($file_name)) {
            @touch($file_name);
        }
        $content = file_get_contents($file_name);
        if (empty($content)) {
            $content = Request::curl($url);
            if (empty($content)) {
                sleep(1);
                $content = Request::curl($url);
            }
            $encode && $content = iconv("GBK", "UTF-8//IGNORE",$content);
            file_put_contents($file_name, $content);
        }
        return $content;
    }
    
    不带缓存,直接curl数据 

    public static function curlContent($url, $encode = true) {  //不走缓存
                $content = Request::curl($url);
                if (empty($content)) {
                    sleep(1);
                    $content = Request::curl($url);
                }
                $encode && $content = iconv("GBK", "UTF-8//IGNORE",$content);
            return $content;
        }
    
    

公告

> 恭喜本站快要完成!!!!

> 恭喜本站快要完成!!!!

Copyright 2008-2017 mxszpt.com All Rights Reserved 版权所有
赣ICP备13003684号-2 梦想瞬智网络科技

广州网站建设 深圳网站建设 网站制作 广东网站建设 江西网站制作 吉安网站建设 江门网站建设 北京网站建设 网站建设 番禺网站建设 天河网站建设 海珠网站建设 广州网站建设