php获取网页标题和内容函数

  次阅读 作者:智能小宝 来源:互联网 2016-03-01 14:34 我要评论(0)

有时候我们需要获取网页的标题与内容,就是个采集函数,这里简单分享下,方便需要的朋友

代码如下:

function getPageContent($url) {

//$url='http://www.ttphp.com;

$pageinfo = array();

$pageinfo[content_type] = '';

$pageinfo[charset] = '';

$pageinfo[title] = '';

$pageinfo[description] = '';

$pageinfo[keywords] = '';

$pageinfo[body] = '';

$pageinfo['httpcode'] = 200;

$pageinfo['all'] = '';

$ch = curl_init();

curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)");

curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);

curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER,0);

curl_setopt($ch, CURLOPT_TIMEOUT, 8);

curl_setopt($ch, CURLOPT_FILETIME, 1);

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);

//curl_setopt($ch, CURLOPT_HEADER, 1);

curl_setopt($ch, CURLOPT_URL,$url);

$curl_start = microtime(true);

$store = curl_exec ($ch);

$curl_time = microtime(true) - $curl_start;

if( curl_error($ch) ) {

$pageinfo['httpcode'] = 505;//gate way error

echo 'Curl error: ' . curl_error($ch) ."/n";

return $pageinfo;

}

//print_r(curl_getinfo($ch));

$pageinfo['httpcode'] = curl_getinfo($ch,CURLINFO_HTTP_CODE);

//echo curl_getinfo($ch,CURLINFO_CONTENT_TYPE)."/n";

$pageinfo[content_type] = curl_getinfo($ch,CURLINFO_CONTENT_TYPE);

if(intval($pageinfo['httpcode']) <> 200 or !preg_match('@text/html@',curl_getinfo($ch,CURLINFO_CONTENT_TYPE) )) {

//print_r(curl_getinfo($ch) );

//exit;

return $pageinfo;

}

preg_match('/charset=([^/s/n/r]+)/i',curl_getinfo($ch,CURLINFO_CONTENT_TYPE),$matches); //从header 里取charset

if( trim($matches[1]) ) {

$pageinfo[charset] = trim($matches[1]);

}

//echo $pageinfo[charset];

//exit;

curl_close ($ch);

//echo $store;

//remove javascript

$store = preg_replace("/<mce:script.*><!--

(.*)<//script>/smUi",'',$store);

//remove link

$store = preg_replace("/<link/s+[^>]+>/smUi",'',$store);

//remove <!---->

本站文章信息来源于网络以及网友投稿,本站只负责对文章进行整理、排版、编辑,是出于传递更多信息之目的,并不意味着赞同其观点或证实其内容的真实性。如果您有什么意见或建议,请联系QQ28-1688-302!

人工智能实验室
相关文章相关文章
  • 韩春雨称已能重复实验结果 近期将有消息公布

    韩春雨称已能重复实验结果 近期将有消息公布

  • 无人驾驶汽车如何改变城市生活?听听他们怎么说

    无人驾驶汽车如何改变城市生活?听听他们怎么说

  • 未来两年人工智能要怎么走?看这篇就够了

    未来两年人工智能要怎么走?看这篇就够了

  • 英国研发“杀生”机器人 通过生命体获取能量

    英国研发“杀生”机器人 通过生命体获取能量

网友点评网友点评
阅读推荐阅读推荐

据国外媒体报道,在过去两年内,聊天机器人(chatbot)、人工智能以及机器学习的研发和采用取得了巨大进展。许多初创公司正利用人工智能和...

霍金 视觉中国 图 英国著名物理学家霍金(Stephen Hawking)再次就人工智能(AI)发声,他认为:对于人类来说,强大AI的出现可能是最美妙的...

文|郑娟娟 今年,人工智能(AI) 60岁了。在AI60岁的时候,笔者想要介绍一下AI100,一个刚刚2岁的研究项目,但它的预设寿命是100年,甚至更长...

AlphaGo与李世石的人机大战,为大众迅速普及了人工智能的概念。 但对谷歌而言,除了下围棋,现在的人工智能进展到哪一步了?未来,人工智能...