亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

使用curl實(shí)現(xiàn)多線程

系統(tǒng) 3190 0

使用curl實(shí)現(xiàn)多線程

curl一般用來抓取網(wǎng)頁(yè),第二種就是get或者post數(shù)據(jù),第三種應(yīng)用就是實(shí)現(xiàn)PHP的多線程任務(wù)

下面來實(shí)現(xiàn)多線程的

可以返回:

  • URLINFO_EFFECTIVE_URL ?– 最后一個(gè)有效的URL地址
  • CURLINFO_HTTP_CODE ?– 最后一個(gè)收到的HTTP代碼
  • CURLINFO_FILETIME ?– 遠(yuǎn)程獲取文檔的時(shí)間,如果無法獲取,則返回值為“-1”
  • CURLINFO_TOTAL_TIME ?– 最后一次傳輸所消耗的時(shí)間
  • CURLINFO_NAMELOOKUP_TIME ?– 名稱解析所消耗的時(shí)間
  • CURLINFO_CONNECT_TIME ?– 建立連接所消耗的時(shí)間
  • CURLINFO_PRETRANSFER_TIME ?– 從建立連接到準(zhǔn)備傳輸所使用的時(shí)間
  • CURLINFO_STARTTRANSFER_TIME ?– 從建立連接到傳輸開始所使用的時(shí)間
  • CURLINFO_REDIRECT_TIME ?– 在事務(wù)傳輸開始前重定向所使用的時(shí)間
  • CURLINFO_SIZE_UPLOAD ?– 上傳數(shù)據(jù)量的總值
  • CURLINFO_SIZE_DOWNLOAD ?– 下載數(shù)據(jù)量的總值
  • CURLINFO_SPEED_DOWNLOAD ?– 平均下載速度
  • CURLINFO_SPEED_UPLOAD ?– 平均上傳速度
  • CURLINFO_HEADER_SIZE ?– header部分的大小
  • CURLINFO_HEADER_OUT ?– 發(fā)送請(qǐng)求的字符串
  • CURLINFO_REQUEST_SIZE ?– 在HTTP請(qǐng)求中有問題的請(qǐng)求的大小
  • CURLINFO_SSL_VERIFYRESULT ?– 通過設(shè)置 CURLOPT_SSL_VERIFYPEER 返回的SSL證書驗(yàn)證請(qǐng)求的結(jié)果
  • CURLINFO_CONTENT_LENGTH_DOWNLOAD ?– 從 Content-Length: ?field中讀取的下載內(nèi)容長(zhǎng)度
  • CURLINFO_CONTENT_LENGTH_UPLOAD ?– 上傳內(nèi)容大小的說明
  • CURLINFO_CONTENT_TYPE ?– 下載內(nèi)容的 Content-Type: 值,NULL表示服務(wù)器沒有發(fā)送有效的 Content-Type: ?header??? ??

    <?php
/*
curl 多線程抓取
*/

 /**
     * curl 多線程
     *
     * @param array $array 并行網(wǎng)址
     * @param int $timeout 超時(shí)時(shí)間
     * @return array
     */
 function Curl_http($array,$timeout){
 	$res = array();
 	$mh = curl_multi_init();//創(chuàng)建多個(gè)curl語柄
	$startime = getmicrotime();
 	foreach($array as $k=>$url){
 		$conn[$k]=curl_init($url);

        curl_setopt($conn[$k], CURLOPT_TIMEOUT, $timeout);//設(shè)置超時(shí)時(shí)間
        curl_setopt($conn[$k], CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)');
        curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向級(jí)別
        curl_setopt($conn[$k], CURLOPT_HEADER, 0);//這里不要header,加塊效率
        curl_setopt($conn[$k], CURLOPT_FOLLOWLOCATION, 1); // 302 redirect
        curl_setopt($conn[$k],CURLOPT_RETURNTRANSFER,1);
        curl_multi_add_handle ($mh,$conn[$k]);
 	}
	 //防止死循環(huán)耗死cpu 這段是根據(jù)網(wǎng)上的寫法
		do {
			$mrc = curl_multi_exec($mh,$active);//當(dāng)無數(shù)據(jù),active=true
		} while ($mrc == CURLM_CALL_MULTI_PERFORM);//當(dāng)正在接受數(shù)據(jù)時(shí)
		while ($active and $mrc == CURLM_OK) {//當(dāng)無數(shù)據(jù)時(shí)或請(qǐng)求暫停時(shí),active=true
			if (curl_multi_select($mh) != -1) {
				do {
					$mrc = curl_multi_exec($mh, $active);
				} while ($mrc == CURLM_CALL_MULTI_PERFORM);
			}
		}

 	foreach ($array as $k => $url) {
 		  curl_error($conn[$k]);
    	  $res[$k]=curl_multi_getcontent($conn[$k]);//獲得返回信息
    	  $header[$k]=curl_getinfo($conn[$k]);//返回頭信息
    	  curl_close($conn[$k]);//關(guān)閉語柄
    	  curl_multi_remove_handle($mh  , $conn[$k]);   //釋放資源
		}

		curl_multi_close($mh);
		$endtime = getmicrotime();
		$diff_time = $endtime - $startime;

		return array('diff_time'=>$diff_time,
					 'return'=>$res,
					'header'=>$header
					);

 }
 //計(jì)算當(dāng)前時(shí)間
 function getmicrotime() {
	    list($usec, $sec) = explode(" ",microtime());
	    return ((float)$usec + (float)$sec);
	}

	//測(cè)試一下,curl 三個(gè)網(wǎng)址
	$array = array(
				"http://www.weibo.com/",
				"http://www.renren.com/",
				"http://www.qq.com/"
				);

	$data = Curl_http($array,'10');//調(diào)用
	var_dump($data);//輸出

?>
  

?

關(guān)于do while的那段解釋:

因?yàn)?active要等全部url數(shù)據(jù)接受完畢才變成false,所以這里用到了curl_multi_exec的返回值判斷是否還有數(shù)據(jù),

當(dāng)有數(shù) 據(jù)的時(shí)候就不停調(diào)用curl_multi_exec,暫時(shí)沒有數(shù)據(jù)就進(jìn)入select階段,新數(shù)據(jù)一來就可以被喚醒繼續(xù)執(zhí)行。

這里的好處就是CPU的無謂 消耗沒有了。更詳細(xì)的說明: http://hi.baidu.com/%D4%C2%D2%B9%C4%FD%ED%F8/blog/item/9dfcf4fbe6b84374024f563d.html

?

這個(gè)多線程的寫法步驟:

第一步:調(diào)用curl_multi_init

第二步:循環(huán)調(diào)用curl_multi_add_handle

這一步需要注意的是,curl_multi_add_handle的第二個(gè)參數(shù)是由curl_init而來的子handle。

第三步:持續(xù)調(diào)用curl_multi_exec

第四步:根據(jù)需要循環(huán)調(diào)用curl_multi_getcontent獲取結(jié)果

第五步:調(diào)用curl_multi_remove_handle,并為每個(gè)字handle調(diào)用curl_close

第六步:調(diào)用curl_multi_close

多線程的測(cè)試效果圖:

wps_clip_image-11562

總結(jié):36個(gè)http請(qǐng)求,從執(zhí)行的是時(shí)間順序上來看,三個(gè)網(wǎng)站的ip交叉,說明是同時(shí)并發(fā)的!

?

?

?

?

?

?

?

使用curl實(shí)現(xiàn)多線程


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長(zhǎng)會(huì)非常 感謝您的哦!!!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論
主站蜘蛛池模板: 亚洲国产美女精品久久久久 | 久久免费视频精品 | 外国一级黄色毛片 | 天天看天天干 | 97在线看片免费福利视频 | 四虎影视紧急入口地址大全 | 日韩不卡在线播放 | 日本欧美一区二区三区乱码 | 免费国产高清精品一区在线 | 中文字幕视频在线 | 亚洲欧美综合区自拍另类 | 久久久久久九 | 久久精品美女 | 人人插97| 在线视频免费国产成人 | 国产成人精品午夜在线播放 | 欧美又乱又伦观看 | 色www国产阿娇 | 免费中文字幕视频 | 人人操天天射 | 福利一区在线视频 | 亚洲综合激情 | 最新狠狠色狠狠色综合 | 深夜在线网站 | 久久精品二区 | 精品亚洲国产国拍 | 亚洲免费精品视频 | 久久精品国产只有精品2020 | 精品乱码一区二区三区在线 | 日韩毛片免费观看 | 久久婷婷是五月综合色狠狠 | 77yyzz男人的天堂 | 欧美日韩顶级毛片www免费看 | 亚洲国产模特在线播放 | 欧美成人免费视频a | 2020久久精品永久免费 | 特级a欧美做爰片毛片 | 亚洲日韩精品欧美一区二区一 | 亚洲精品日韩中文字幕久久久 | 香蕉爱爱网 | 一级毛片看一个 |