時間:2015-06-28 00:00:00 來源:IT貓撲網(wǎng) 作者:網(wǎng)管聯(lián)盟 我要評論(0)
搜索引擎的蜘蛛訪問網(wǎng)站是通過遠(yuǎn)程抓取頁面來進(jìn)行的,我們不能使用JS代碼來取得蜘蛛的Agent信息,但是我們可以通過image標(biāo)簽,這樣我們就可以得到蜘蛛的agent資料了,通過對agent資料的分析,就可以確定蜘蛛的種類、性別等因素,我們在通過數(shù)據(jù)庫或者文本來記錄就可以進(jìn)行統(tǒng)計了。 數(shù)據(jù)庫結(jié)構(gòu): # # 表的結(jié)構(gòu) `naps_stats_bot` # CREATE TABLE `naps_stats_bot` ( `botid` int(10) unsigned NOT NULL auto_increment, `botname` varchar(100) NOT NULL default '', `botagent` varchar(200) NOT NULL default '', `bottag` varchar(100) NOT NULL default '', `botcount` int(11) NOT NULL default '0', `botlast` datetime NOT NULL default '0000-00-00 00:00:00', `botlasturl` varchar(250) NOT NULL default '', UNIQUE KEY `botid` (`botid`), KEY `botname` (`botname`) ) TYPE=MyISAM AUTO_INCREMENT=9 ; # # 導(dǎo)出表中的數(shù)據(jù) `naps_stats_bot` # INSERT INTO `naps_stats_bot` VALUES (1, 'Googlebot', 'Googlebot/2.X (+http://www.googlebot.com/bot.html)', 'googlebot', 0, '0000-00-00 00:00:00', ''); INSERT INTO `naps_stats_bot` VALUES (2, 'MSNbot', 'MSNBOT/0.1 (http://search.msn.com/msnbot.htm)', 'msnbot', 0, '0000-00-00 00:00:00', ''); INSERT INTO `naps_stats_bot` VALUES (3, 'Inktomi Slurp', 'Slurp/2.0', 'slurp', 0, '0000-00-00 00:00:00', ''); INSERT INTO `naps_stats_bot` VALUES (4, 'Baiduspider', 'Baiduspider+(+http://www.baidu.com/search/spider.htm)', 'baiduspider', 0, '0000-00-00 00:00:00', ''); INSERT INTO `naps_stats_bot` VALUES (5, 'Yahoobot', 'Mozilla/5.0+(compatible;+Yahoo!+Slurp;+http://help.yahoo.com/help/us/ysearch/slurp)', 'slurp', 0, '0000-00-00 00:00:00', ''); INSERT INTO `naps_stats_bot` VALUES (6, 'Sohubot', 'sohu-search', 'sohu-search', 0, '0000-00-00 00:00:00', ''); INSERT INTO `naps_stats_bot` VALUES (7, 'Lycos', 'Lycos/x.x', 'lycos', 0, '0000-00-00 00:00:00', ''); INSERT INTO `naps_stats_bot` VALUES (8, 'Robozilla', 'Robozilla/1.0', 'robozilla', 0, '0000-00-00 00:00:00', ''); PHP程序: /*************************************************************************** * NAPS -- Network Article Publish System * ---------------------------------------------- * bot.php * ------------------- * begin : 2004-08-15 * copyright : (C) 2004 week9 * homepage : http://m.ygkjgt7.cn * http://bbs.itmop.com * ***************************************************************************/ /*************************************************************************** * * This program is free software; you can redistribute it and/or modify * it under the terms of the GNU General Public License as published by * the Free Software Foundation; either version 2 of the License. * ***************************************************************************/ /*************************************************************************** * * NAPS產(chǎn)品是自由軟件。你可以且必須根據(jù)《GNU GPL-GNU通用公共許可證》的相關(guān)規(guī)定 * 復(fù)制、修改及分發(fā)NAPS產(chǎn)品。任何以NAPS產(chǎn)品為基礎(chǔ)的衍生發(fā)行版未必須經(jīng)過飄飄的授權(quán)。 * ***************************************************************************/ error_reporting(E_ALL & ~E_NOTICE); function get_naps_bot() { $useragent = strtolower(___FCKpd___0SERVER['HTTP_USER_AGENT']); if (strpos($useragent, 'googlebot') !== false){ return 'Googlebot'; } if (strpos($useragent, 'msnbot') !== false){ return 'MSNbot'; } if (strpos($useragent, 'slurp') !== false){ return 'Yahoobot'; } if (strpos($useragent, 'baiduspider') !== false){ return 'Baiduspider'; } if (strpos($useragent, 'sohu-search') !== false){ return 'Sohubot'; } if (strpos($useragent, 'lycos') !== false){ return 'Lycos'; } if (strpos($useragent, 'robozilla') !== false){ return 'Robozilla'; } return false; } $tlc_thispage = addslashes(___FCKpd___0SERVER['HTTP_USER_AGENT']); //添加蜘蛛的抓取記錄 $searchbot = get_naps_bot(); if ($searchbot) { $DB_naps->query("UPDATE naps_stats_bot SET botcount=botcount+1, botlast=NOW(), botlasturl='$tlc_thispage' WHERE botname='$searchbot'"); } ?>
關(guān)鍵詞標(biāo)簽:訪問,網(wǎng)站,是否,蜘蛛,
相關(guān)閱讀 ASP代碼中如何屏蔽ip地址 禁止某IP段訪問網(wǎng)站 MSSQL中幾個未公布的訪問注冊表的擴(kuò)展存儲過程 七招破解Win XP訪問網(wǎng)絡(luò)慢的故障 在Oracle里設(shè)置訪問多個SQL Server 原神回聲海螺位置-原神回聲海螺攻略 利用A、G、DL、P策略來管理網(wǎng)絡(luò)資源訪問權(quán)限
熱門文章 plsql developer怎么連接數(shù)據(jù)庫-plsql developer連接數(shù)據(jù)庫方法 2021年最好用的10款php開發(fā)工具推薦 php利用淘寶IP庫獲取用戶ip地理位置 在 PHP 中使用命令行工具
時間:2023-11-27 16:33:40
時間:2022-10-08 17:32:25
時間:2022-03-21 15:30:52
時間:2022-01-15 10:43:56
時間:2022-01-15 10:31:24
時間:2021-07-16 18:02:34
人氣排行 詳解ucenter原理及第三方應(yīng)用程序整合思路、方法 plsql developer怎么連接數(shù)據(jù)庫-plsql developer連接數(shù)據(jù)庫方法 PHP中防止SQL注入攻擊 PHP會話Session的具體使用方法解析 PHP運行出現(xiàn)Notice : Use of undefined constant 的解決辦法 PHP如何清空mySQL數(shù)據(jù)庫 CakePHP程序員必須知道的21條技巧 PHP采集圖片實例(PHP采集)