ihero 体育

统计用户鼠标点击过程，推断用户心理，心理归类

ihero — Thu, 12 Jun 2008 10:12:45 +0800

（转载）3年以前，一个统计分析领域的专家曾经告诉笔者，GOOGLE和百度，在技术上足够做到分析你是一个男人还是一个女的，当时听起来感觉几乎不可能的事情。

07年在搜索引擎研究领域出现过一张并不是很清晰的Google和百度的鼠标点击热图(如下)，图的出处未知，让笔者很是惊讶，从图中可以看出Google和百度用户行为的显著区别，也可以看出在这两个搜索引擎中排名网站的流量分配的大概情况。甚至，笔者联想到如果统计了用户鼠标行为的轨迹分析，足够分析访问百度和Google用户群体的人口统计学方面的信息，比如：访客的性别、年纪等等。笔者所在的公司一直致力于数据挖掘课题的研究，深知如果一定程度上对用户鼠标行为进行分析的话，只要找到准确的算法，是可以很明显的分辨出男性和女性在浏览同一个网页时所表现出的不同的习惯特征。这是所有基于数据行为做识别的人的共识。

百度和GOOGLE在互联网上，具备绝对的优势，他们甚至可以统计和分析用户的鼠标行为特点(如上图)。对于普通的站长，很明显，这些前沿的统计数据几乎无法从传统统计器中获得，捕捉到用户在某网页上的点击事件也许并不是一个很难的事情，但是如果是要获得用户的鼠标点击热区以及鼠标在页面上滑动的轨迹，就不是件容易的事情了，尤其是对用户鼠标滑动轨迹的分析，这个更不是一般的统计系统可以做到的，这些滑动轨迹几乎是一个天文数据，分析这些需要极其强大的计算能力，并非国内一个个人统计系统计算能力可以达到的。

目前国内的统计市场，新的入伙人有百度、雅虎，还有一个一直在中国统计器市场名不见声响的GOOGLE，这些巨无霸也都试图瓜分这个市场，他们的意图很明显，建立一个服务于自己的体系，同时利用庞大的个人站点获取大量的用户行为特征。传统的个人网站统计，目前也是三分天下。但是笔者无意中看到的一张图，让笔者不得不再次审视这个似乎已经各自为政，三分天下的统计领域。

下图是笔者无意中获得的一张用户行为分析图，竟然是国内某家并不知名的小个人站点上的数据，笔者在这个小小的美女图片站上发现了一行陌生的统计代码，这个代码的链接很明显的反应出另一个似乎也是统计类的站点，但是很郁闷的是，笔者顺着这个链接，并没有找到这个站点的任何资料，似乎这个站点刻意的隐藏了自己。出于本身的职业习惯，后来笔者找到了这个小站站长的QQ，后来在和这个美女图片的个人站长交流中才知道，中国科学院下面的一个庞大的技术团队正在试图将他们手上的数据分析技术平民化，他们测试使用的域名正是这行统计代码中的域名。后来，征得该站长的同意，笔者将一些该站数据截图显示如下：

访客性别分布、访客年纪分布、访客人均收入分析、访客鼠标热区图:

从以上资料笔者看到，鼠标行为分析———统计器的另一场革命正在悄然地开始。似乎中科院计算所的小伙子们在鼠标轨迹分析上有了不小的突破，但是不清楚他们原始的统计数据来自何方。茫茫的互联网，可能某个屏幕后面深藏着一双双智慧的眼睛，他们正在孕育着新的革命。

在这个个人站长的介绍下，后来笔者联系上了中科院计算所里一位负责该项目的小伙子。在QQ上和他谈到统计，他提到了一些新的概念，让我这个一直从事于互联网统计分析的所谓“行家”汗颜。他把传统的统计，归为第一代统计。在他看来，第一代统计器只是实现了对简单数据的统计，比如：统计PV、IP 等，最多再统计到了一些URL的点击次数等，但这些统计仅仅只是局限在一个数据的层面上。在飞跃发展的互联网的今天，一个数据层面上的统计器，对站长分析站点时，提供的帮助是极其有限的。一个单一的PV、IP数据，一个简单的关键词列表，在这些数据罗列的背后，实际上其中缺少了相当重要的概念，那就是这些统计的URL背后人的概念。目前所有的统计器似乎都没有认识到这一点，任何网站上任何一次点击的诞生，都是由人的行为决定。一谈到这些，这位中科院年轻的小伙子就有止不住的话往外倒。生怕笔者不明白还特意给举了例子，比如：我的网站有1000人访问，这个人群到底具备什么样子的特征?他们到底点击了我网站的那些位置?其中是男性多，还是女性多，他们的年纪分布是怎样的?和地域到底有什么样的关系?还有，他们共同的行为特征是什么?这些在他看来，都是具备非常大的价值的，这些信息比传统的PV、IP数字更加让人看清楚访问网站的人群是什么样子。最后，谈话快结束的时候，这位小伙子还透漏给笔者，他们现在对于用户人口统计学方面的信息已经基本成熟，接下来他们要挑战的是用户心理学方面的统计。在他们看来，人类的所有行为都离不开心理，换句话说，人类的行为只是心理的一个外在表现。只有真正分析出了用户的心理行为才能更有效的掌握用户行为，这才是统计器发展的最终境界。

当笔者看完这段文字之后，完完全全被震撼住了，甚至差点忘了给一个回复，脑海里止不住地在想象这将是怎样可怕的统计器，而这群敢想敢做、年轻又富有朝气的中科院的小伙子又将是怎样的一个团队，他们拥有着超人类般的创造力。如果有机会的话，笔者真希望能和他们当面谈谈关于统计器的过去和未来。

最后，笔者衷心希望中科院研发的这款统计器能早日开放，为流量分析市场注入新的活力，为广大的站长朋友们提供一个全新的统计服务。

搜索引擎如何缓存

ihero — Thu, 29 May 2008 13:40:47 +0800

搜索引擎技术里面的一个比较关键的技术：搜索结果缓存。如何实现的呢？缓存技术已经很多，但是对于搜索结果的如何缓存？我写写我的想法，希望能和大家一起讨论。在写想法前，说下搜索结果缓存如何重要：像baidu，google这样的搜索引擎，没有缓存，对用户每次的搜索都需要每台分布式服务器同时进行运算，然后合并出结果，由于众多的分布式服务器，以及复杂的合并算法，都是非常耗时的，如何能抗得住大量用户并发同时搜索，没有结果缓存，是不行的。

第一种想法，比如在baidu搜索，它如何缓存？比如搜索“罗罗”，缓存第一页数据，但是可能别人搜索“罗罗体育”，这样又缓存一份第一页数据。虽然对每个关键字对应的结果进行只缓存第一页，那也会很多，不是很现实。何况看得出他们不只是缓存第一页。

第二种想法，由于baidu，google有大量的分布式存储服务器，让每个分布式服务器都做自己的缓存，那么，对于运算合并的效率并没有提高，其实搜索结果排序合并也是影响效率不可忽略的大模块，这种方法不是很好。

第三种想法，对搜索合并结果进行重做索引，也就是我们把分布式运算过来的数据在这里重新做索引，好处是减少下次的分布式搜索和对每台分布式返回结果进行排序合并的过程，下次搜索只到这个小缓存索引中搜索，相当于分布式搜索服务器中的一台，但是这台是很多服务器已经精选出来的内容。这样的缓存需要控制量，比如“罗罗”缓存了前1000篇文章，“体育”缓存了前1000篇文章，如果搜索“罗罗体育”，他们的交集只有100篇，我们可以猜测搜索出的结果个数10w，那么就显示搜索结果个数约10w个（baidu，google结果都是约，而且最后两位都是零），到了101篇去分布式搜索，用户一般很少翻到那么深，而且baidu，google只显示300页。

最后，最好就是这些缓存方法相结合，也就是，对搜索全部完全缓存，然后…

地震，为灾区人民祈福

ihero — Fri, 16 May 2008 23:40:30 +0800

这几天天天看灾区报道，那里的人们实在不幸，运气不好。为灾区人民祈福。
电脑突然瞬间一晃，我晕的有点想吐的感觉，第一反应是以为工作太累了，难道IT这个行业这么费人，我觉得我还很年轻。

感谢远方的哥给我打电话，亲哥知道我们没事，震中不是北京，听见远方的他放心我，回味亲情。

看着灾区的亲们，他们有的因为获救或者亲人相聚，流露的开心，让我感动；也有哭泣让我们沉痛，我这些天确实感到了，我们都是一个大家庭，心连心 。

电视上不断地出示着捐献方式，我lp做为一个普通共产党军人，她捐了500，比我这个it人只通过短信捐了2元多多了。

我大学献过血，几次验血都通过，周末本打算献血去，听说也可以增加产血功能，而且能验血，看到报道血库满了，强，我们中国人民的热心真的太强了，人民太伟大了。

搜索整体架构流程图

ihero — Thu, 08 May 2008 13:48:40 +0800

1：索引和搜索虽然可以分开，但是如何保证时效性，就是2个共享一个索引库，如何同步，把新索引的如何及时提供给搜索，就是相当与文件系统的flush才能从内存写入文件中。有几个想法

2：分布式：底层socket包装，如何把结果交给前端应用，需要对每个结果合并。

3：合并后可以通过ICE/socket进行输出，这块需要多线程并发到后端通过soket取数据，然后进行合并，注意线程锁的死锁问题

4：缓存是搜索的核心，没有好的缓存机制，像google等是无法抵抗大数据量的并发请求，这个阶段暂不要求，想法到是有几个

pthread加socket

ihero — Tue, 29 Apr 2008 18:07:25 +0800

开始之前写了一个类似jms，mom4j，safmq的一个mcc消息通讯件，对socket的服务启动，只用主进程引导，只是对socket的accept进行了pthread多线程创建，一开始就设定了accept的线程数，对每次accept的线程进行安全锁处理，不能让接收到的数据混淆不完整，从理论上也是应该使用锁的，不过我当时为了想提高效率，本想尝试不用锁，认为accept到的数据就放到了队列中了，但是理论上是要对每个线程加锁的，怕每次接收到的数据由于线程的同时并发运行使得数据的不完整还是加上了锁，效果最后证明还是很不错的，并且应用到了很多重要模块中。

这次真对长期运行的socket-client做一个功能，我开始对socket的连接就进行了pthread多线程设置，因为client端，所以可以多个connect句柄，我对每次应用的send和recv进行了pthread_mutex_lock处理，为了每次send和recv的完整，正在大量并发测试，估计应该没有问题。

好几天没写了，瞎写点内容，为了搜索优化和推广。

cc视频插件需要升级方可继续使用

ihero — Wed, 23 Apr 2008 16:41:59 +0800

倒霉的是用户,突然用的discuz的视频不能上传了,提示cc视频插件需要升级方可继续使用.

后来搜索google,没有结果,后来去bokecc发现好几个人在说这个问题,才有bokecc版主说是和discuz解除了api合作.

这对用户来说很受伤,你们因为利益问题,而我们用户呢,这个连接是bokecc论坛的回帖:出现”CC视频插件需要升级才能使用”的进下是今天的新贴

bbs提示报错图片:

所以商务很重要

ihero — Tue, 22 Apr 2008 11:22:21 +0800

很多人做网站，其实哪块重要，这确实是个认识问题。

认识也其实决定了合作对像选取。每个人对合作开始都是很好的认识，合作当然好啊，双赢的事，合作问题是怎么做啊

比如：商业的重要性认识人，认为网络虽然是平台，但是平台后面的事更重要。
一定要有自己的核心竞争力啊，一定要能满足客户需求，我觉得这个核心竞争力，不是界面，一定要能满足客户需求，而是能不能真正给消费者带来价值，带来实惠，能带来价值，界面不好，消费者依然买单，界面再精美，没有内容，有什么用啊。

所以商务很重要

老吃东西,总饿,养不起

ihero — Tue, 22 Apr 2008 11:04:56 +0800

和一个老朋友突然聊天，问他得qq宠物还在养吗，结果他说：不养了,老吃东西,总饿,养不起。

网络虚拟宠物跟真的似的，真是不错，体验过程，他还是觉得挺有意思的。

对近来ali推出的b2c，易趣承认陶宝信用

ihero — Wed, 16 Apr 2008 10:58:37 +0800

易趣被tom并购后，还是做了很大动作，毕竟是中国公司，就是懂国情。首先用户开店免费，把以前的收费用户归为vip网店，如果不续费，自动成为普通网店，少了几个高级功能而已。易趣这点算是很大的改变。

今天又看到易趣发布承认陶宝用户在陶宝开店的信用，也就是出台了一个陶宝用户信用到易趣开店信用转换等式，这也是一个拉拢陶宝店主的大好事，对近来ali推出的b2c，让好多陶宝店住不满得到了可以发泄的地方

今天访问了一下sina首页，发现变了

ihero — Tue, 15 Apr 2008 16:12:37 +0800

sina这样的门户，要是大修改一下首页，一般调查用户习惯什么，很久时间才能确定。之前的那种窄屏和密密麻麻的小字，一大堆的内容确实不是很美观，很多人都指责，但是sina改起来不是那么一句话的事。他考虑很多老用户习惯，这也是sina的一切由你开始。

这次我觉得sina的首页改版的挺好，保留了一半sina原有首页面貌和颜色，让老用户觉得可以接受，感觉变化不大，又大胆的增加了很多元素，有yahoo，apple很多风格，宽屏。我觉得整体很不错。

测试网页速度工具

ihero — Fri, 11 Apr 2008 15:49:30 +0800

测试网页速度工具，平时朋友们总是让我打开他们的网页，看看快慢，后来用了IMB的一个工具，很简单的工具，估计是个人爱好者开发的，名字叫IBM Page Detailer Basic，可以看到页面的哪个元素快慢，如图：