宛川骄子

百度的网络交易平台：有啊（http://www.youa.com/ ）上线

xincard@gmail.com (crownboy) — Sun, 12 Oct 2008 09:40:19 +0800

百度的网络交易平台：有啊（http://www.youa.com/ ）上线，赶快去看看啊！

在一个FLASH的LOGO之后，进入了这样的一个网址：http://passport.baidu.com/?login&tpl=cc&u=http%3A//mall.baidu.com/

，但是出现了这样的界面，无法输入密码。

点击

无法输入登录密码？
请点此安装安全控件后刷新

之后，要下载一个SETUP.EXE的文件，

估计是插件，那就下载安装吧。

下载完成后，进行安装，却又出现了无法安装的提示：

看来，大家使用“有啊”还得有点耐心才行，等到百度将“无法输入登录密码”与“输入密码框插件安装失败”两个问题解决了，大家再使用它吧。

最后说的话：百度作为中国的网络文化倡导者，应该引导网络与网民向健康、法制、规范的方向发展，而不要引导网民都光着屁股跑网路。而突然有一天，百度你靠原始的积累发达了，摇身一变，西装革履的说话啦，最终的结果只能是：大众更加愚味了，百度更加富有啦。

MP3文件属性及文件名的批量修改

xincard@gmail.com (crownboy) — Thu, 09 Oct 2008 22:01:57 +0800

在本人主持的“信息技术环境下的独立学习研究”课题中，有一个“英语、语文课程同步MP3资源开发”的子课题，要开发高中英语与语文课程同步的MP3资源。在语文同步资源的开发过程中，发现使用网络上已有的资源可节省大量的人力。但具体操作时遇到了以下两个问题，技术难度不高，却花去了大家的两天时间：

一、大批量MP3文件属性的修改。

选定文件夹下的所有对象/右击/选“属性”

在属性对话框窗口中选择“摘要”标签，点击窗口中的“高级”，然后进入下图界面：

在此窗口中可修改“艺术家、唱片标题……备注”/确定

二、大批量MP3文件名的修改。

在当前文件夹中创建一个文本文件，然后将其后辍“.txt”修改为“.bat”。

再将此批处理文件打开，输入“ DIR /B >CROWNBOY.BAT ”将此目录下的所有文件列出并写进CROWNBOY.BAT批处理文件。修改保存完成后，双击此文件，执行操作。

此时当前窗口中就会产生CROWNBOY.BAT 文件，通过右击/编辑/打开它，将收集到的文件列表复制到EXCEL的D列中。

在EXCEL中，通过替换方式将文件名中的多余字符如网址用空字符或自定义的字符替换。

再次从CROWNBOY.BAT中复制文件列表到EXCEL中的B列，然后在A列的每一行中填充“REN”，这样在EXCEL中的每一行构建了如下的命令行：REN 3_01_1诗经_氓[www.crownboy.com].mp3 3_01_1诗经_氓.mp3

然后将EXCEL中制作好的所有行复制到CROWNBOY.BAT中保存，把原有内容删除,此时构建了一个更名的批处理文件。

双击运行CROWNBOY.BAT文件，将原有文件按照我们定制的新文件名进行更名。

这样既简化了文件名，又保留了最关键的文件名。

甘肃电信尊享E8宽带网速测试

xincard@gmail.com (crownboy) — Thu, 09 Oct 2008 10:39:34 +0800

昨天，好不容易拔通了电信的10000号服务电话，选择了投诉号码，客服人员给了我一个明确的答复，总算让我知道我的宽带是这样速度。原来甘肃电信给我一个202.100.84.77的测试平台，因为这个速度温度计上限就是2Mbps，总让人不明确这个到底能不能测试。

因为尊享E8承诺提供3－4Mbps的带宽服务。这这次客服人员说在i.west100.com首页的左下角有MICROMEDIA PLAY的下载文件，让我不通过下载工具，直接下载保存，看看网速是多少？我当时问，多少就算正常，客服人员说一般应在300kB左右！经过下载测试，果真在300kb上下！

现在我明白，尊享E8承诺提供3－4Mbps的带宽服务，下载速度应在350kb—500kb之间，但在他们自己提供的最好测试平台上得出了最高为300kb的下载速度，这就是甘肃电信的厚颜无耻！

兴隆山之马啣山景区

xincard@gmail.com (crownboy) — Wed, 08 Oct 2008 10:38:35 +0800

马啣山旅游小区地处兴隆山南侧呈西北、东南走向，面积为398公顷，最高海拔3670米，山顶如平川，宽约8—10公里，长约40—50公里。马啣山以高山寒带冻土地貌为主要景观特征，高耸的地势和严寒的气候条件，使马啣山的地貌景物与兴隆山截然不同，而与号称地球三极的青藏高原极为相似。马啣山地貌景物奇特，既有冻丘地貌，又有古冰缘遗迹，是考察冰川冻土地貌的重要地点。马啣山气候、植被垂直性分布非常明显，既有原始森林，又有高山草甸，每年盛夏可见到山顶白雪飘、山腰百花艳、山下绿波荡的奇妙景观，真可谓“一日历四季，十里不同天”。马啣山历史悠久，文化灿烂，留传有大石马、小石马、石棺材、金龙池等民间传说。据《榆中县志》记载：唐代《故交河郡夫人慕容氏墓志序》中称马啣山为“薄寒山”；宋、明称“马御山”；明太祖洪武二十五年，肃庄王朱将“马啣山”辟作避暑山庄；清代称“马寒山”，以“寒山积雪”列入榆中八景；民国年间改称“马啣山”，沿用至今。

CNNIC开通两项通用网址增值服务

xincard@gmail.com (crownboy) — Sun, 28 Sep 2008 22:49:06 +0800

CNNIC(http://www.cnnic.cn/)开通两项通用网址增值服务

为了让通用网址更好地服务用户，CNNIC日前开通两项通用网址增值服务。从即日起，通用网址新注册用户以及续费用户，可以免费开通在线客服和在线地图两项增值服务。

    1、通用网址增值服务之“在线客服”
      通用网址增值服务“在线客服”是专门为企业网站量身定制的网络营销和实时客服工具，是基于互联网的一种融合网站对外沟通和内部管理的应用服务平台。
    “在线客服”可帮助企业的客服人员实时监控网站访问情况，它能“看见”每个登陆网站的访客，并向访客发出主动邀请，帮助企业发现访客并为访客提供服务，为企业抓住每一位潜在客户。访客也无需安装任何插件，点击页面上的漂浮框即可与网站客服进行实时的联系。企业客户只需安装相应客户端软件，在网站客服离线的状态下，访客可以进行留言，在企业客服人员下次登录之后便可收到访客的留言。

    在线客服改变了现时被动的、静态的在线营销模式，成功实现网站与访客双向的、主动的交流，让网站真正“活”起来。为企业发掘更多的潜在客户，降低运行成本，提高工作效率，提高服务质量、提升客户满意度，是企业进行在线咨询、在线营销、在线客服的有力工具。

    2、通用网址增值服务之“在线地图”
    通用网址增值服务“在线地图”是企业地标以电子地图形式直观展示企业所在的地理位置，代替传统的文字描叙，方便客户直观看到企业位置。
    “在线地图”可帮助企业提高工作效率，传达更直观、精确的地理位置信息，企业无须花费时间与客户沟通地理位置问题，同时还把企业相关的联系信息通过通用网址的平台展现出去，达到更多通用网址相关客户了解客户的目的。

    增值服务具体内容可参考“CNNIC首页/通用网址/通用网址增值服务”栏目的相关介绍。

    您也可以联系CNNIC认证的通用网址注册服务机构咨询详情。

2008年9月27日

笔记本上安装Windows Server 2003开发环境

xincard@gmail.com (crownboy) — Tue, 23 Sep 2008 00:31:39 +0800

花了将近一个月的时间在笔记本 FJ VGN-FJ78GP/B 上安装成功了 Windows Server 2003 开发环境。现在把正确的安装步骤总结出来：

1、在Windows xp平台上安装Windows Server 2003速度要快很多。（所用时间：拷贝6分钟，安装60分钟，启动3次，3分钟，总计69分钟）。

2、安装完成后要安装这款笔记本电脑的驱动，很是麻烦见：在Windows Server 2003系统中安装FJ VGN-FJ78GP/B的驱动程序见*****页。安装完驱动（下载180分钟，安装40分钟，启动3分钟，总计223分钟）

网址：http://www.sony-asia.com/support/download/58028/product/vgn-fj78gp/sectionfirst?site=hp_en_AP_i&subpage=detail

3、在使用瑞星卡卡的漏洞修复之后（下载30分钟，安装10分钟，启动1分钟）就可以跳过SP1直接安装SP2（下载40分钟，安装15分钟，启动1分钟），再次启动瑞星卡卡的漏洞修复，有43个漏洞之后，（下载30分钟，安装10分钟，启动1分钟，总计41分钟）

4、安装Microsoft SQL Server 2005的当然要求在SP1的基础上进行（下载60分钟，安装30分钟，启动1分钟，总计91分钟）

5、安装Microsoft Visual Studio 2005。2.48GB （下载420分钟，安装30分钟，启动1分钟，总计451分钟）

网址：http://www.cncrk.com/Download.asp?ID=5871&URL=http://hztel.cncrk.com:8080/soft/keygen/&file=Microsoft.Visual.Studio.2005.rar

6、安装OFFICE2003（拷贝10分钟，安装30分钟，总计40分钟）。

7、瑞星杀毒软件（下载30分钟，安装6分钟，启动1分钟，总计37分钟）。

8、安装DAEMON Tools虚拟光碟工具（下载5分钟，安装6分钟，启动1分钟，总计12分钟）。

9、安装迅雷（下载10分钟，安装1分钟，，总计11分钟）

10、安装WINRAR（下载10分钟，安装1分钟，总计11分钟）。

11、安装ACDSee（下载10分钟，安装1分钟，总计11分钟）。

12、安装Micromedia Studio 2004（下载40分钟，安装10分钟，总计50分钟）。

统计使用的时间：69+223+41+91+451+40+37+12+11+11+11+50=1047分钟，约17.45小时。

在这里还没有把中间出故障所浪费的时间统计进去。

所以，平均计算一下每天的有效工作时间就是3个小时左右，那么六天有效的工作才安装完成了这个系统。折合人力成本，这台机器上安装这样的一个开发平台要用600元人民币。

安装一台普通的机器估计就是50元的成本，因为半天的时间就可以完成。

瑞星2009版试用

xincard@gmail.com (crownboy) — Sat, 20 Sep 2008 22:20:49 +0800

9月19日看到瑞星2009版在公测，于是下载了一份拷贝，安装试用。下载过程与安装过程都很简单。感觉比2008版好用一些。并且在2008版瑞星软件维护的系统中查杀出了病毒。

界面中提供了三个菜单，操作、设置、帮助，

五个选项标签：首页、杀毒、防御、工具、安检。

最终的试用总结是：整体操作简便捷；容量还是很大-—52.3MB，希望把体积降下来，功能提上去。

时刻注视这些所谓的“救世主”……

我爱背单词7.0的使用经历

xincard@gmail.com (crownboy) — Fri, 19 Sep 2008 14:29:11 +0800

新东方的我爱背单词7.0的确是一款非常优秀的学习英语的软件。我有使用它。使用它最多的方面就是把各阶段学生们的英语单词制作成MP3文件，让家里的学生用MP3来随身听英语单词，这一个MP3文件中可以定制包含多少个单词，每个单词的读音放几遍，还有单词的字母拼读与汉语解释。

关于这个这个软件是怎么来的，很可耻，下载的。而且使用一个注册号：0757225758。

当你的机器不上网时，注册成功后一直可以使用，但当你上网后，软件又要提示要注册，用0757225758就不行啦。此时得使用从网上下载的wabdc2004.exe，3.8MB大小左右，如果还不行的话，就删除当前系统的PROGRAM FILES文件夹中COMMON FILE文件夹中的一个扩展名为DLL的文件就可以啦。

以上说法很可耻，大家支持正版吧。

爬虫工作原理及关键技术概述

xincard@gmail.com (crownboy) — Tue, 16 Sep 2008 20:29:53 +0800

网络爬虫是一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止，另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

      相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题：
      (1) 对抓取目标的描述或定义；
      (2) 对网页或数据的分析与过滤；
      (3) 对URL的搜索策略。
     抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。

2 抓取目标描述
现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为：
（1）预先给定的初始抓取种子样本；
（2）预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；
（3）通过用户行为确定的抓取目标样例，分为：
a) 用户浏览过程中显示标注的抓取样本；
b) 通过用户日志挖掘得到访问模式及相关样本。
其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。
现有的聚焦爬虫对抓取目标的描述或定义可以分为基于目标网页特征，基于目标数据模式和基于领域概念三种。
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。具体的方法根据种子样本的获取方式可以分为：（1）预先给定的初始抓取种子样本；（2）预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；（3）通过用户行为确定的抓取目标样例。其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。

基于目标数据模式的爬虫针对的是网页上的数据，所抓取的数据一般要符合一定的模式，或者可以转化或映射为目标数据模式。

另一种描述方式是建立目标领域的本体或词典，用于从语义角度分析不同特征在某一主题中的重要程度。

      3 网页搜索策略
      网页的抓取策略可以分为深度优先、广度优先和最佳优先三种。深度优先在很多情况下会导致爬虫的陷入(trapped)问题，目前常见的是广度优先和最佳优先方法。
      3.1 广度优先搜索策略
广度优先搜索策略是指在抓取过程中，在完成当前层次的搜索后，才进行下一层次的搜索。该算法的设计和实现相对简单。在目前为覆盖尽可能多的网页，一般使用广度优先搜索方法。也有很多研究将广度优先搜索策略应用于聚焦爬虫中。其基本思想是认为与初始URL在一定链接距离内的网页具有主题相关性的概率很大。另外一种方法是将广度优先搜索与网页过滤技术结合使用，先用广度优先策略抓取网页，再将其中无关的网页过滤掉。这些方法的缺点在于，随着抓取网页的增多，大量的无关网页将被下载并过滤，算法的效率将变低。

3.2 最佳优先搜索策略
最佳优先搜索策略按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取。它只访问经过网页分析算法预测为“有用”的网页。存在的一个问题是，在爬虫抓取路径上的很多相关网页可能被忽略，因为最佳优先策略是一种局部最优搜索算法。因此需要将最佳优先结合具体的应用进行改进，以跳出局部最优点。将在第4节中结合网页分析算法作具体的讨论。研究表明，这样的闭环调整可以将无关网页数量降低30%~90%。

4 网页分析算法

网页分析算法可以归纳为基于网络拓扑、基于网页内容和基于用户访问行为三种类型。
4.1 基于网络拓扑的分析算法
基于网页之间的链接，通过已知的网页或数据，来对与其有直接或间接链接关系的对象（可以是网页或网站等）作出评价的算法。又分为网页粒度、网站粒度和网页块粒度这三种。
4.1.1 网页(Webpage)粒度的分析算法
PageRank和HITS算法是最常见的链接分析算法，两者都是通过对网页间链接度的递归和规范化计算，得到每个网页的重要度评价。PageRank算法虽然考虑了用户访问行为的随机性和Sink网页的存在，但忽略了绝大多数用户访问时带有目的性，即网页和链接与查询主题的相关性。针对这个问题，HITS算法提出了两个关键的概念：权威型网页（authority）和中心型网页（hub）。

基于链接的抓取的问题是相关页面主题团之间的隧道现象，即很多在抓取路径上偏离主题的网页也指向目标网页，局部评价策略中断了在当前路径上的抓取行为。文献[21]提出了一种基于反向链接（BackLink）的分层式上下文模型（Context Model），用于描述指向目标网页一定物理跳数半径内的网页拓扑图的中心Layer0为目标网页，将网页依据指向目标网页的物理跳数进行层次划分，从外层网页指向内层网页的链接称为反向链接。

4.1.2 网站粒度的分析算法
网站粒度的资源发现和管理策略也比网页粒度的更简单有效。网站粒度的爬虫抓取的关键之处在于站点的划分和站点等级(SiteRank)的计算。SiteRank的计算方法与PageRank类似，但是需要对网站之间的链接作一定程度抽象，并在一定的模型下计算链接的权重。
网站划分情况分为按域名划分和按IP地址划分两种。文献[18]讨论了在分布式情况下，通过对同一个域名下不同主机、服务器的IP地址进行站点划分，构造站点图，利用类似PageRank的方法评价SiteRank。同时，根据不同文件在各个站点上的分布情况，构造文档图，结合SiteRank分布式计算得到DocRank。文献[18]证明，利用分布式的SiteRank计算，不仅大大降低了单机站点的算法代价，而且克服了单独站点对整个网络覆盖率有限的缺点。附带的一个优点是，常见PageRank 造假难以对SiteRank进行欺骗。
4.1.3 网页块粒度的分析算法
在一个页面中，往往含有多个指向其他页面的链接，这些链接中只有一部分是指向主题相关网页的，或根据网页的链接锚文本表明其具有较高重要性。但是，在PageRank和HITS算法中，没有对这些链接作区分，因此常常给网页分析带来广告等噪声链接的干扰。在网页块级别(Blocklevel)进行链接分析的算法的基本思想是通过VIPS网页分割算法将网页分为不同的网页块(page block)，然后对这些网页块建立pagetoblock和blocktopage的链接矩阵，分别记为Z和X。于是，在pagetopage图上的网页块级别的PageRank为Wp=X×Z；在blocktoblock图上的BlockRank为Wb=Z×X。已经有人实现了块级别的PageRank和HITS算法，并通过实验证明，效率和准确率都比传统的对应算法要好。
4.2 基于网页内容的网页分析算法
基于网页内容的分析算法指的是利用网页内容（文本、数据等资源）特征进行的网页评价。网页的内容从原来的以超文本为主，发展到后来动态页面（或称为Hidden Web）数据为主，后者的数据量约为直接可见页面数据（PIW，Publicly Indexable Web）的400~500倍。另一方面，多媒体数据、Web Service等各种网络资源形式也日益丰富。因此，基于网页内容的分析算法也从原来的较为单纯的文本检索方法，发展为涵盖网页数据抽取、机器学习、数据挖掘、语义理解等多种方法的综合应用。本节根据网页数据形式的不同，将基于网页内容的分析算法，归纳以下三类：第一种针对以文本和超链接为主的无结构或结构很简单的网页；第二种针对从结构化的数据源（如RDBMS）动态生成的页面，其数据不能直接批量访问；第三种针对的数据界于第一和第二类数据之间，具有较好的结构，显示遵循一定模式或风格，且可以直接访问。

爬虫技术

xincard@gmail.com (crownboy) — Tue, 16 Sep 2008 20:23:09 +0800

1 爬虫技术研究综述
引言
随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如：

(1) 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。
(2) 通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。
(3) 万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频/视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。
(4) 通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。
为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫(generalpurpose web crawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

1 聚焦爬虫工作原理及关键技术概述
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件，如图1(a)流程图所示。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止，如图1(b)所示。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题：
(1) 对抓取目标的描述或定义；
(2) 对网页或数据的分析与过滤；
(3) 对URL的搜索策略。
抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。

2 抓取目标描述
现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为：
（1）预先给定的初始抓取种子样本；
（2）预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；
（3）通过用户行为确定的抓取目标样例，分为：
a) 用户浏览过程中显示标注的抓取样本；
b) 通过用户日志挖掘得到访问模式及相关样本。
其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。
现有的聚焦爬虫对抓取目标的描述或定义可以分为基于目标网页特征，基于目标数据模式和基于领域概念三种。
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。具体的方法根据种子样本的获取方式可以分为：（1）预先给定的初始抓取种子样本；（2）预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；（3）通过用户行为确定的抓取目标样例。其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。

2 爬虫技术研究综述
基于目标数据模式的爬虫针对的是网页上的数据，所抓取的数据一般要符合一定的模式，或者可以转化或映射为目标数据模式。

另一种描述方式是建立目标领域的本体或词典，用于从语义角度分析不同特征在某一主题中的重要程度。

3 网页搜索策略
网页的抓取策略可以分为深度优先、广度优先和最佳优先三种。深度优先在很多情况下会导致爬虫的陷入(trapped)问题，目前常见的是广度优先和最佳优先方法。
3.1 广度优先搜索策略
广度优先搜索策略是指在抓取过程中，在完成当前层次的搜索后，才进行下一层次的搜索。该算法的设计和实现相对简单。在目前为覆盖尽可能多的网页，一般使用广度优先搜索方法。也有很多研究将广度优先搜索策略应用于聚焦爬虫中。其基本思想是认为与初始URL在一定链接距离内的网页具有主题相关性的概率很大。另外一种方法是将广度优先搜索与网页过滤技术结合使用，先用广度优先策略抓取网页，再将其中无关的网页过滤掉。这些方法的缺点在于，随着抓取网页的增多，大量的无关网页将被下载并过滤，算法的效率将变低。

3.2 最佳优先搜索策略
最佳优先搜索策略按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取。它只访问经过网页分析算法预测为“有用”的网页。存在的一个问题是，在爬虫抓取路径上的很多相关网页可能被忽略，因为最佳优先策略是一种局部最优搜索算法。因此需要将最佳优先结合具体的应用进行改进，以跳出局部最优点。将在第4节中结合网页分析算法作具体的讨论。研究表明，这样的闭环调整可以将无关网页数量降低30%~90%。

4 网页分析算法

网页分析算法可以归纳为基于网络拓扑、基于网页内容和基于用户访问行为三种类型。
4.1 基于网络拓扑的分析算法
基于网页之间的链接，通过已知的网页或数据，来对与其有直接或间接链接关系的对象（可以是网页或网站等）作出评价的算法。又分为网页粒度、网站粒度和网页块粒度这三种。
4.1.1 网页(Webpage)粒度的分析算法
PageRank和HITS算法是最常见的链接分析算法，两者都是通过对网页间链接度的递归和规范化计算，得到每个网页的重要度评价。PageRank算法虽然考虑了用户访问行为的随机性和Sink网页的存在，但忽略了绝大多数用户访问时带有目的性，即网页和链接与查询主题的相关性。针对这个问题，HITS算法提出了两个关键的概念：权威型网页（authority）和中心型网页（hub）。

基于链接的抓取的问题是相关页面主题团之间的隧道现象，即很多在抓取路径上偏离主题的网页也指向目标网页，局部评价策略中断了在当前路径上的抓取行为。文献[21]提出了一种基于反向链接（BackLink）的分层式上下文模型（Context Model），用于描述指向目标网页一定物理跳数半径内的网页拓扑图的中心Layer0为目标网页，将网页依据指向目标网页的物理跳数进行层次划分，从外层网页指向内层网页的链接称为反向链接。

4.1.2 网站粒度的分析算法
网站粒度的资源发现和管理策略也比网页粒度的更简单有效。网站粒度的爬虫抓取的关键之处在于站点的划分和站点等级(SiteRank)的计算。SiteRank的计算方法与PageRank类似，但是需要对网站之间的链接作一定程度抽象，并在一定的模型下计算链接的权重。
网站划分情况分为按域名划分和按IP地址划分两种。文献[18]讨论了在分布式情况下，通过对同一个域名下不同主机、服务器的IP地址进行站点划分，构造站点图，利用类似PageRank的方法评价SiteRank。同时，根据不同文件在各个站点上的分布情况，构造文档图，结合SiteRank分布式计算得到DocRank。文献[18]证明，利用分布式的SiteRank计算，不仅大大降低了单机站点的算法代价，而且克服了单独站点对整个网络覆盖率有限的缺点。附带的一个优点是，常见PageRank 造假难以对SiteRank进行欺骗。
4.1.3 网页块粒度的分析算法
在一个页面中，往往含有多个指向其他页面的链接，这些链接中只有一部分是指向主题相关网页的，或根据网页的链接锚文本表明其具有较高重要性。但是，在PageRank和HITS算法中，没有对这些链接作区分，因此常常给网页分析带来广告等噪声链接的干扰。在网页块级别(Blocklevel)进行链接分析的算法的基本思想是通过VIPS网页分割算法将网页分为不同的网页块(page block)，然后对这些网页块建立pagetoblock和blocktopage的链接矩阵，分别记为Z和X。于是，在pagetopage图上的网页块级别的PageRank为Wp=X×Z；在blocktoblock图上的BlockRank为Wb=Z×X。已经有人实现了块级别的PageRank和HITS算法，并通过实验证明，效率和准确率都比传统的对应算法要好。
4.2 基于网页内容的网页分析算法
基于网页内容的分析算法指的是利用网页内容（文本、数据等资源）特征进行的网页评价。网页的内容从原来的以超文本为主，发展到后来动态页面（或称为Hidden Web）数据为主，后者的数据量约为直接可见页面数据（PIW，Publicly Indexable Web）的400~500倍。另一方面，多媒体数据、Web Service等各种网络资源形式也日益丰富。因此，基于网页内容的分析算法也从原来的较为单纯的文本检索方法，发展为涵盖网页数据抽取、机器学习、数据挖掘、语义理解等多种方法的综合应用。本节根据网页数据形式的不同，将基于网页内容的分析算法，归纳以下三类：第一种针对以文本和超链接为主的无结构或结构很简单的网页；第二种针对从结构化的数据源（如RDBMS）动态生成的页面，其数据不能直接批量访问；第三种针对的数据界于第一和第二类数据之间，具有较好的结构，显示遵循一定模式或风格，且可以直接访问。

4.2.1 基于文本的网页分析算法
1) 纯文本分类与聚类算法 
很大程度上借用了文本检索的技术。文本分析算法可以快速有效的对网页进行分类和聚类，但是由于忽略了网页间和网页内部的结构信息，很少单独使用。
2) 超文本分类和聚类算法
网页文本还具有大量的

同一网站设置多域名

xincard@gmail.com (crownboy) — Mon, 15 Sep 2008 16:50:11 +0800

域名是一个网站的网络地址，也是一个网站的网络名称。06年申请了多个域名，其中一部分没有启用，今天查阅了一下资料，将多个域名启用起来。下面的操作就是给一个网站绑定多个域名。

在IIS中，右击网站——

点击“高级”——

如下图设置——

可能别人要问，你既然有这么多域名，直接在域名设置管理中将这些域名转发到指定的网站就可以拉。

其实这中间还有一个问题没有说明，因为如果直接对应一个独立IP下的单独网站来说，上面的操作完全就可以啦。但事实上这种设置是在单个IP下有多个网站，所以主机头必须要设置，且有多域名的对应这一个网站，就只能这样设置啦。

整个操作步骤比较简单。如果对主机没有直接的操作管理权限，有人使用代码跳转的方式去实现，效果也挺好的。

中秋节的100个祝福

xincard@gmail.com (crownboy) — Fri, 12 Sep 2008 09:04:24 +0800

中秋节的100个初祝福，送给亲人，朋友，同事，教师。

1春江潮水连海平，海上明月共潮生，花好月圆人团聚，祝福声声伴你行。同学：中秋快乐！2生命中有你感觉精彩，回

忆中有你感觉温馨，旅程中有你感觉骄傲，失落中有你感觉坚毅，沉默中有你感觉灿烂，朋友中有你，我不再感到寂寞

。中秋快乐安康！3鲜花，或雅或艳，总栽在盆里；月亮，或远或缺，总挂在天上；情谊，或远或近，总握在手中；朋友

，见或不见，总记在心中！祝中秋节快乐！4当瑟瑟的秋雨再次飘落，秋风吹起，才发现浪漫的秋天悄然而至。月光如洗

，中秋来到，在这温馨的日子里向好朋友说声：中秋快乐，万事亨通！5偶尔的繁忙,不代表遗忘,秋天的到来,愿你心情

舒畅,曾落下的问候,这次一起补偿,所有的关心,凝聚这条短信:祝福你朋友?6朋友,不管你现在身处何方,今晚一定要看看

那被你遗忘已久的月亮,许个愿吧很可能就会实现哦!中秋快乐!7因为缘份，所以遇见你；因为开心，所以认识你；因为

快乐，所以结交你。友谊让我们在一起，牵挂让我想念你，中秋将至，愿我的祝福让你拥有一个快乐难忘的中秋节。8最

好喝的红酒也许不是最贵的那瓶，因为买到酒买不到心情。最好的朋友也许不是联络最多的，而是在特别的日子想起的

人。祝中秋节快乐！9酒越久越醇，朋友相交越久越真；水越流越清，世间沧桑越流越淡。祝吾友中秋佳节过得开心！10

当悦耳的铃声再次响起，才发觉秋天温馨时节已到，这一刻什么都有可能忘记，唯独忘不了的是向朋友说声：你快乐，

我快乐！

11共赏圆月一轮，喜迎中秋良宵.在这一年一度的佳节里,愿家里家外的朋友节日快乐!12中秋月圆，朋友是线；轻轻一拉

，友谊开花；花满枝头，无忧无愁；花朵绚烂，事事如愿！我的好友，中秋快乐！13结识了书本会智慧一辈子，找对了

爱人会幸福一辈子，找对了朋友会快乐一辈子，认识了你我会幸运一辈子，愿你的工作一顺百顺！中秋快乐！14朋字双

月并肩行，远隔千里两地明；祝友健康阂家乐，事业顺利展宏程；中秋佳节同喜日，捧杯聚首秋月中。15中秋佳节，送

你一份月饼，品牌--真情，成份--思念+祝福，制造商--朋友，保质期--一百年。16朋友是身边那份充实，是忍不住时最

想拨的号码，是深夜长坐的那杯清茶，是悠闲时最想见的身影，是最忙碌时也不忘的牵挂。中秋节快乐！17相识系于缘

，相知系于诚，一个真正的朋友不论在身何处，总时时付出关和爱，愿你中秋快乐！18信短情长言未尽,唯愿朋友多安康

.中秋快乐,合家团圆.19流星划过天际，我错过了许愿；浪花拍上岩石，我错过了祝福；故事讲了一遍，我错过了聆听；

人生只有一回，我庆幸没错过你这个朋友！祝中秋快乐！20又是一年落叶黄，一层秋雨一层凉。整日工作挺辛苦，天凉

别忘加衣裳。保重身体多餐饭，珍惜友情常想想。信短情长言未尽，唯愿朋友多安康。中秋快乐，合家团圆！

21月圆人团圆，月缺人分别。若是无情时，月圆亦月缺，若是有情时，月缺亦月圆。愿圆圆的月亮带上我的思乡之情，

把他传递给远在他乡的父母！22月是故乡圆，人是故乡亲，远方的我祝福你们平安健康！23“游子身上衣，慈母手中线

”，月圆烫心，中秋团圆难相伴，痴子游学念双亲。佳节来临，祝双亲身体健康，万事如意！中秋快乐！24小时候，妈

妈是天空，长大了，我是妈妈的天空。中秋来临，妈妈在等，等我的问候，等我的微笑！祝愿天下妈妈：中秋节快乐，

永远安康！25今夜，我不敢抬头,抬头望明月；今夜我不敢低头，低头思故乡。今夜，我在这头，爹娘在哪头。26游子望

故乡，祝亲人安康。爸爸、妈妈，虽然我不能回家与你们团圆，但我的心和你们永远一起的，也会用心为你们祝福。祝

你们中秋快乐,身体健康,万事如意!27月是今夜明，情是今夜切；二小今无猜，何不今相悦。28夫妻就是一个整圆，缺了

哪一个，圆就转不起来了，所以我们不能分离。每逢佳节倍思亲，您向岗位献钟情。天涯海角共此时，我为长辈尽孝心

。29明月清风寄相思！让月儿捎上我的祝福传递给你；让思念化作一缕轻风，柔柔的吻过你的脸！30中秋的月亮，在窗

外静静地悬着。我楞楞地看着它，仿佛它是一面明镜，你我在互相注视,互致绵绵思意和祝福：心上人中秋快乐！

31你好似月里嫦娟，我愿为宫阙玉兔，陪伴在你身边，共渡中秋佳节。32露从今夜白，月是故乡明。今夜月正圆，正是

思乡时。虽然你我不能相聚，但我的思念和祝福伴随你走每一段路。亲爱的，保重！33今秋又是月圆时，清风只影度中

秋，思念佳人千里外，明月传情表我心。祝你中秋节快乐，人月两圆！34有月的夜晚，有你和我的夜晚，只想轻轻的向

你道声，我的佳人祝你节日快乐！35天苍苍，野茫茫，有个人儿在远方。秋风吹，稻花香。中秋可否回故乡？36亲爱的

，中秋节到了，我为你定做了一个月饼。主料：我爱你！配料：思念。辅料：煎熬加寂寞少许！生产日期：从见到你那

天起！保存日期：无限期！标准号：131437月明风清，秋意撩人；对酒当歌，倚花堪折。郎情妾意，敢为卿狂；花好月

圆，共度良宵。38月儿圆圆，心儿甜甜。一对佳人，月下花前。你我同心，海枯石烂。39流星划过天际，我错过了许愿

；浪花拍上岩石，我错过了祝福；故事讲了一遍，我错过了聆听；人生只有一回，我没有错过你！今晚邀你共同赏月！

40一杯思乡的酒，钩起了我满腔的愁。今夜人团圆，我却在故乡的那一边，何时回家转，与你共团圆。

41你问我爱你有多深，月亮代表我的心，中秋明月寄相思，你我相聚应有时。42今天没有你在身边，天上的月亮依然皎

洁，因为你在我心里！43感谢您在过去对敝公司的大力支持，祝您中秋佳节吉祥如意，大展宏图！44中秋来临百花香，

一条信息带六香:一香送你摇钱树，二香送你贵人扶，三香送你工作好，四香送你没烦恼，五香送你钱满箱，六香送你永

安康。中秋快乐！45风柔，雨润，花好，月圆，幸福生活日日甜！冬去，春来，似水，如烟，一年中秋在眼前！流年不

复返，人生需尽欢！说一声珍重，祝中秋快乐。46以真诚为半径，用尊重为圆心，送您一个中秋圆圆的祝福……愿：爱

您的人更爱您，您爱的人更懂您！好事圆圆！好梦连连！预祝中秋快乐，月圆人更圆！47许一个美好的心愿，祝你快乐

连连，送一份美妙的感觉，祝你万事圆圆，传一份短短的祝福，祝你微笑甜甜。中秋节快乐！48中秋节心到，想到，得

到，看到，闻到，吃到，福到，运到，财到，中秋节还没到，但愿我的祝福第一个到。提前祝你中秋节快乐！天天好心

情！49送你一个中秋月饼，第一层是体贴，第二层是关怀，第三层是浪漫，第四层是温馨，中间的夹层是甜蜜!50海上升

明月，天涯共此时，又是一个花好月圆夜，送你一个月饼，无限的思念和祝福尽在其中，中秋节愉快！

51中秋佳节，送你四个月饼：送你莲蓉的，愿你漂亮胜芙蓉；送你五仁的，愿你朋友遍五洲；送你水果的，愿你做个开

心果；送你巧克力的，愿生活甜如蜜。52月到今夜分外明，节日喜气伴你行。人逢喜事精神爽，人团家圆爱情甜。节日

愉快身体硬，心想事成万事顺!53中秋佳节到，祝福不迟到，祝您：月圆，人圆，事事圆；好花，好景，好事连。54中秋

了月圆了是祝福的时候了祝你永远幸福，没有烦恼，永远快乐，只有微笑天使没有你纯洁花儿没有你灿烂。55在这团圆

的日子里，愿快乐走向你，好运靠近你，幸福陪着你，事业伴着你，爱情追逐你，成功等着你，钞票寻找你，我要祝福

你：身体健康，节日快乐。56月很圆，花更香，保重身体要健康，鱼在游，鸟在叫，愿你天天哈哈笑，手中书，杯中酒

，祝你好运天天有！欢乐多，忧愁少，幸福生活少不了。57玉兔，嫦娥，桂树；美白，漂亮，芳馥。明月，清风，十五

；相思，团圆，遥祝。58中秋将至，送上一个月饼，配料：五克快乐枣，一把关心米，三钱友情水，用幽默扎捆，用手

机送达；保质期：永久；保存方法：请按存储键。59听到～想到～心到,说到～做到～得到,时间到～我的美好祝福已全

部让你收到。中秋快乐！60十五月，圆又圆，打制的月饼甜又甜。嫦娥仙女来做馅，玉兔宝宝忙做皮，月洒银辉做封面

，星光点点做提绳。

61明月光，地上霜，霜在降，天气凉。蒹葭苍苍，白露为霜，所谓伊人，也要健康。清秋时节，加件衣裳，暖暖和和，

安度秋霜，祝快乐又健康！62又是一年月圆夜，月下为你许三愿：一愿美梦好似月儿圆，二愿日子更比月饼甜，三愿美

貌犹如嫦娥仙。63我正着手筹备公司生产月饼。用浪漫做皮；用温馨做馅；幸福做蛋王；懂得品味的人不需要多，最好

只有你一个！64虽然我们相距很远，但在这花好月圆的中秋夜共同举杯，向月儿表达你我思念之情。65花瓣雨漂过，把

花蕊留给你，四季风吹过，把枫叶留给你，岁月潮涌过，把欢乐留给你，又是月圆夜，把祝福送给你，中秋快乐！66月

圆了，家圆了，肚子圆了，最好钱包也圆了...节日快乐，万事如意，合家团圆美满！挂念你的人赠上。67月到中秋分外

明，祝你天天好心情，皓月当空洒清辉，美好事儿一堆堆；祝你佳节多喜68中秋夜，月光光，家家户户赏月忙。吃月饼

，分蛋黄，一家老少齐团圆。祝中秋佳节，月圆人团圆！69花好人更好，月圆人团圆，心有千千结，自有人相知。70红

红翠翠，年年朝朝暮暮。暮暮依依，时时鲽鲽鹣鹣。说不完的思念，但愿您的生活就象月一样美满！

71年年圆满如意，月月事事顺心，日日喜悦无忧，时时高兴欢喜，刻刻充满朝气，月圆人圆花好，事顺业顺家兴！72中

秋将至，送上一个月饼，配料：五克快乐枣，一把关心米，三钱友情水，用幽默扎捆，用手机送达；保质期：农历八月

十五前；保存方法：请按保存键。73独在异乡为异客，每逢佳节倍思亲。祝中秋佳节，全家团圆美满！74轻轻地一声祝

福，道不尽心中的千言万语，短短的一条短信，给你带上我衷心的问候：中秋之夜我很挂念你！75中秋节，团圆节，祝

福阖家团团圆圆。76远思两乡断，清光千里同!77月圆人团圆，月缺人分别。若是无情时，月圆亦月缺，若是有情时，月

缺亦月圆。78在此中秋佳节来临之际，愿你心情如秋高气爽！笑脸如鲜花常开！愿望个个如愿，中秋快乐！79中秋节月

圆是画，月缺是诗。如诗如画，良辰美景，送给我心爱的你。遥远的星空下，共同仰望同样的美月，是你我心灵的契约

！80月是中秋分外明，我以明月寄钟情，你是明月照我心，我作星星永相亲.

81春江潮水连海平，海上明月共潮生，花好月圆人团聚，祝福声声伴你行。祝你节日愉快!82中秋祝福佳节到,送您个月

饼：第一层财运；第二层幸运；第三层福运；第四层浪漫；中间夹层是甜蜜。祝您天天好心情！83月到双节分外明，节

日喜气伴你行。人逢喜事精神爽，人团家圆事业成。节日愉快身体硬，心想事成您准赢。84兰经香风满，松窗夜月圆！

85明月千里难以触摸，对你的思念无处寄托。举杯邀明月，说：福多！钱多！快乐多！86月儿圆，人团圆，祝您万事团

圆！87月十五，天下太平;月到中秋，全家拜月;宝塔灯，照照天地;花下藕，藕丝连连;红石榴，榴开见子;团圆饼，有情

人团团圆圆,祝中秋快乐！88月是中秋分外明，我把问候遥相寄；皓月当空洒清辉，中秋良宵念挚心；祝愿佳节多好运！

89身在异乡为异客，每逢佳节倍思亲。远方的亲人，献上最真挚的祝福，愿你们平安如意。露从今夜白，月是故乡明。

今夜月正圆，正是思乡时。90三五夜中新月色，二千里外故人心。今夜月明人尽望，不知秋思落谁家。
明月本无价，高山皆有情。愿你的生活就象这十五的月亮一样，圆圆满满！92中秋节又是一年落叶黄，一层秋雨一层凉

。整日工作挺辛苦，天凉别忘加衣裳。保重身体多餐饭，珍惜友情常想想。中秋快乐，合家团圆！93云淡天青，一轮明

月廊照人家，时蓬中秋，三杯美酒，绕膝亲情。祝：家庭幸福，中秋节快乐！94中秋佳节人团圆,愿我最真挚的祝福,能

让你感受到亲情的温暖.深深地祝你节日快乐.95踱步赏明月，明月何时圆，借酒问青天，咫尺天涯远96月是中秋分外明

，我把问候遥相寄；皓月当空洒清辉，中秋良宵念挚心；祝愿佳节多好运，月圆人圆事事圆，中秋快乐！97竹雨松风悟

月，茶烟琴韵书声。曾忆当年。98中秋了月圆了是祝福的时候了祝你永远幸福，没有烦恼，永远快乐，只有微笑！99悠

悠的云里有淡淡的诗，淡淡的诗里有绵绵的喜悦，绵绵的喜悦里有我轻轻的问候，祝中秋快乐！100圆月年年相似，你我

岁岁相盼。那满天的清辉、遍地水银，便是我们互倾的思念。中秋快乐！

网络与生命

xincard@gmail.com (crownboy) — Tue, 09 Sep 2008 09:30:27 +0800

1995年上大学时，教授就说“计算机就是网络，网络就是计算机”好象很玄机。如今却是事实。

计算机已是互联网的一个终端，也是网络与人必须最后亲密接触的节点。而计算机就是网络则证明了人们的信息来源极大的依靠了网络途径。

其实这反映了人们注重获取，而不注重原创。

创造才是生命的本质，也是生命的意义所在。

计算机就是网络，网络就是计算机，生命就是网络，网络就是生命，这将是多么可怕。

如果抛弃了自我，那就什么也不会保留，这正是我担心的。

重温红色精神

xincard@gmail.com (crownboy) — Fri, 05 Sep 2008 19:16:51 +0800

七月四日游红色革命教育基地，深爱启发，感慨万千之余，附上图片，以表敬意！

红色革命精神长

会师塔中筑中华

文王庙共彰会宁

一代伟人书神卷

诸位英雄显中流

星星之火聚燎原

衣食父母军民亲

峥嵘岁月砺精魂

赤足踏开九州路

金戈铁马犹驰骋

前赴后继创和谐

长征精神放光芒

我辈竞折腰，绘江山多娇

笔记本使用GHSOT包，键位混乱

xincard@gmail.com (crownboy) — Fri, 05 Sep 2008 17:19:28 +0800

前段时间在自己的SONY笔记本上安装系统，使用了一款从网上下载的WINDOWS2003的克隆包，恢复上去之后，发现I、O、P、K、L、；、M、，、，键这一个区域的键全变成了789456123等数字键，真让人心烦，在网上查询了好多资料，说要能通过Fn+F10就可能实现键盘有布局切换，最后按了无数遍，也不起作用。

最后老老实实的重新安装了一遍WINDOWS2003，键位就正常啦。

当然有一点要说一说，现在安装系统最好是双系统，并且安装WINDOWS2003的话，最好在WINDOWS XP平台上开始，速度要快很多，在DOS状态下安装，要等待半天的时间。

所以说，有些网上的GHOST包并不适合于笔记本电脑用。