Beyond Search

Early Amazon: Inventory Cache

guwendong — Sun, 01 Apr 2012 01:33:27 +0800

原文链接：http://glinden.blogspot.com/2006/01/early-amazon-inventory-cache.html

原文作者 Greg Linden 毕业于华盛顿大学计算机学院，1997 年加入 Amazon，开发了享誉业界的 Amazon 推荐引擎。
著名的 Item-based 推荐算法的提出者之一；Findory.com 创始人。
其 Blog – Geeking with Greg 是个性化推荐领域最有影响力的博客（没有之一）。

本文首发 http://www.resyschina.com/2012/03/early-amazon-inventory-cache.html，由 @raully7 翻译。

类似谷歌的20%时间，亚马逊的员工有时也会做一些不如日常事务那么紧要的额外工作。

我当时负责了好几个项目，但我想跳出来，以掌握更多部分的代码。只是读代码过于无聊了，我需要做一些特别的事情，让我更深的理解他们。

所以空闲时候，我开始试着做性能优化。主要关注于那些高流量的页面——首页、书籍详情页、搜索结果页。我问自己，obidos（注1：亚马逊的页面渲染引擎）把时间耗在什么鬼地方了？

很快我发现了些有趣的东西。第一个上手改造的是购物车。

当你走进一个超市，你做的第一件事很可能就是推一个购物车。同样当人们访问亚马逊时，系统做的第一件事情也是给他们分配一个购物车——在数据库里开辟部分空间以存储购买的商品。

然而，超市并不需要应付大量机器访问或多窗口购物的情况；如果需要，他们也得有更多的购物车，而且几乎每个都是空的。

考虑这些并不实际购买的情况，延后到第一次购买物品时再分配购物车就变得很有意义了。把所有购物车的花销加起来，这个小改动带来的帮助比想像的要大的多。

另一个更大的问题是实时库存检查。当你查找一本书时，亚马逊检查仓库货架内是否有存货。如果没找到，他会再查找过多久才能订购这本书。所有这些都是实时完成的。

这是书籍详情页中最耗时的操作。库存检查是个丑陋的业务逻辑。

但我们真的需要实时的信息吗？也许用几分钟前的结果就够了。恩，是的，可以缓存数据，稍有延迟并不是什么大问题。

因为是用业余时间做这件事情，我从一些并不太大的改动开始。我认为，有多大压力是由网站业务决定的，我要做的是把加锁减到最少。同时我认为能通过缓存预加载，使得用户在缓存刷新时也没有任何延迟。

我鼓捣出的东西似乎运作良好。在测试中，访问延迟从一个很大值降低到了接近零。我开始同其他人讨论这个原型，听取他们的改进意见。

正巧，他们正在对亚马逊进行重新设计，包括彻底的改造和增加新功能。有人找到我希望能在搜索结果页也显示书的库存情况，然而没有缓存这是完全不可能实现的。除非能很快把我的原型实现并弄上线。我们也确实这么做了。

当然，这些如今看来是过时的。当我实现这个库存缓存时，它被设计为一个西雅图的小仓库工作，运行在单台大铁壳（honkin’ iron）服务器上。如今海量的货物散步在若干个巨大的配送中心中——其中一些甚至大的能装下13个足球场——通过切换到一个商品服务器集群能在几秒内获得结果，这最终使得旧缓存不再适用。他运转良好到超出了他的时代，长到年轻时的功绩躺在自己的衰老下被遗忘。（It lasted well beyond its time, so long that the heroics of its youth lay forgotten under the problems of its senility.）

这里我将库存缓存作为个人自由时间带来收益的若干例子中的一个。 20％时间产生了远远超出其比例的价值。

注1：obidos是amazon早期的页面渲染引擎，一直被使用到06年8月底。因临近亚马逊河的小镇Óbidos而得名。http://en.wikipedia.org/wiki/Obidos_(software)

Greg的这系列文章，很多都是回忆他20%时间里鼓捣的事情。也侧面说明了真激情确实可以一辈子。

月初James Whittaker离开谷歌时，也专门写了一篇吐槽文。其中一段回忆到昔日公司的创新气氛：

In such an environment you don’t have to be part of some executive’s inner circle to succeed. You don’t have to get lucky and land on a sexy project to have a great career. Anyone with ideas or the skills to contribute could get involved.

20%时间，一直我们这些国内工程师艳羡和乐于谈论的，似乎总是可望不可及。环境不论，很多事情其实可以从自己做起。

© guwendong for Beyond Search, 2012.
本文网址：http://www.guwendong.com/post/2012/early-amazon-inventory-cache.html
tags: amazon | 参与讨论

Early Amazon: boy-am-i-hard-to-please

guwendong — Tue, 20 Mar 2012 08:19:26 +0800

原文链接：http://glinden.blogspot.jp/2006/01/early-amazon-boy-am-i-hard-to-please.html

原文作者 Greg Linden 毕业于华盛顿大学计算机学院，1997 年加入 Amazon，开发了享誉业界的 Amazon 推荐引擎。
著名的 Item-based 推荐算法的提出者之一；Findory.com 创始人。
其 Blog – Geeking with Greg 是个性化推荐领域最有影响力的博客（没有之一）。

亚马逊早期的代码中，有相当一部分是由最早的两位员工编写的。他们的痕迹在 obidos 系统及其相关工具中随处可见。

可想而知他们的工作很多，但令人惊讶的是，起码我很难想象是如何办到的，他们居然还有时间进行其他一些有趣的边缘项目。我最感兴趣的一个叫做「Eyes」。

Eyes 曾经非常有用。它允许读者登记一个 Email 地址，设定一个查询条件，当有某本新书满足这个查询条件的时候，Eyes 会自动给读者发送一封 Email 通知。这种获取新书消息的方式非常棒，尤其对于写实文学来讲。

介绍 Eyes 的文案很有意思。它是这么写的：

Eyes 是你的全自动搜索器，它很神奇。告诉它你喜欢哪些作者，喜欢哪些主题，它就会自动匹配这些设定，跟踪每一本你感兴趣的新书。注册 Eyes 吧，当那些你关心的书籍上市的时候，我们就会自动发送 Email 通知到你。

好吧，如果你认为这项免费服务不够酷或者没用的话，请发送邮件到 boy-am-I-hard-to-please@amazon.com，告诉我们为什么。

Eyes 服务了许多年，直到后来被 Amazon Alerts 所取代，Amazon Alerts 不可谓不是一个好服务，但与 Eyes 相比，总好像是少了些什么。

通常，停留在记忆里面的就是这些好玩儿的事情。在我创建 Findory 的最早期，一个客服邮件地址就是 boy-am-i-hard-to-please@findory.com。

要有爱，要做让自己快乐的事情。

© guwendong for Beyond Search, 2012.
本文网址：http://www.guwendong.com/post/2012/early-amazon-boy-am-i-hard-to-please.html
tags: amazon | 参与讨论

Early Amazon: BookMatcher

guwendong — Sat, 03 Mar 2012 04:25:57 +0800

原文链接：http://glinden.blogspot.com/2006/01/early-amazon-bookmatcher.html

原文作者 Greg Linden 毕业于华盛顿大学计算机学院，1997 年加入 Amazon，开发了享誉业界的 Amazon 推荐引擎。
著名的 Item-based 推荐算法的提出者之一；Findory.com 创始人。
其 Blog – Geeking with Greg 是个性化推荐领域最有影响力的博客（没有之一）。

在参加亚马逊面试的时候，我提出了很多想法。我列举了一坨我认为可以改进亚马逊网站的方法，其中就包括书籍推荐系统。

我喜欢读书。很中意书籍推荐系统这个想法。发现未知的有趣的书籍，这是多么好玩儿的一件事情啊。我想亲手去实现它。

在亚马逊的第一个星期，我很失望，因为我发现已经有人在做书籍推荐系统了。亚马逊网站的早期用户应该会记得，那个玩意儿叫做“BookMatcher”。

BookMatcher 首先要求用户给 20～30 本书打分，然后才会做出推荐。想必你可以猜得到，几乎没人用它。必须给 20+ 本书打分，对大多数用户来说太麻烦了。

BookMatcher 系统由一个外协公司在提供技术服务。杯具的是，它根本不 work。需要给 20+ 本书打分这样的进入门槛只是问题之一。整个推荐方法偏向于热卖的产品而忽略了长尾。系统还很慢。总而言之，这个系统既不可靠，一有压力还老是宕机。

这不是亚马逊需要的系统。亚马逊的书籍推荐应该基于稀疏数据，少量的打分或者购买记录。它需要快速给出结果。它应该能够扩展到大规模用户群以及数目巨大的品类。它应该能够帮助用户发现那些湮没在类目深处的他们无法找到的书籍。

一定有更好的选择！

补充：
今天有一条讨论很热烈的微博，和这篇文章里面描述的状况有点儿像，

@范凯robbin：昨天一位运维人员入职，我们进行了运维系统介绍和培训，以及接下来逐步清理和改造运维的计划和步骤。今天早上他来找我，说我们公司网站服务器运维现状太乱不是他喜欢的环境，辞职了。我理解他的选择，不过亦为他惋惜。一套完全运转良好的运维系统是无法给有进取心的人任何发挥的空间的。

如今国内的创业公司想找到愿意冒些风险迎接挑战的靠谱的人，难如登天。这事儿倒也自然，人各有志，莫强求，看缘份。不过我很同意 @Fenng 的说法，“正所谓，公司的问题，就是员工的机会”。你看，Greg Linden 也是这么走过来的。

去年，我一个很给力的大学同学，被国内某家名称以数字开头的互联网巨头搞去秘密研发手机操作系统，结果怎么样我就不说了，反正现在转去搞 Web App 了，号称下一代移动应用开发框架。。。好吧，其实我想说明的是，大公司也不一定就有多靠谱，还不如我们死磕一件事，从头开始稳扎稳打，只要事情是你喜欢的，百炼成钢。来吧，一定有更好的选择！

© guwendong for Beyond Search, 2012.
本文网址：http://www.guwendong.com/post/2012/early-amazon-bookmatcher.html
tags: amazon | 参与讨论

Early Amazon: Door desks

guwendong — Wed, 22 Feb 2012 23:10:12 +0800

原文链接：http://glinden.blogspot.com/2006/01/early-amazon-door-desks.html

原文作者 Greg Linden 毕业于华盛顿大学计算机学院，1997 年加入 Amazon，开发了享誉业界的 Amazon 推荐引擎。
著名的 Item-based 推荐算法的提出者之一；Findory.com 创始人。
其 Blog – Geeking with Greg 是个性化推荐领域最有影响力的博客（没有之一）。

亚马逊经常被视为互联网大潮中的弄潮儿，但是与其他拿着 VC 的钱创业的公司不同，它从来没有提供过 Aeron 牌的座椅或者是免费按摩之类的福利。

亚马逊的文化提倡节俭。在我加入亚马逊的时候，它提供的健康计划是大打折扣的，几乎没有什么作用。薪水也非常低，是我印象里我接受过的最低的薪水。

最能代表亚马逊节俭的，就是「木门桌」（door desk）。

哥们儿，你说的是「木门桌」吗？好吧，我现在有一扇木门。那么我如何才能把它搞成一张桌子呢？

这事儿交给杰夫·贝索斯就好了。买一扇木门，最好是空心木门而且没有预先打孔的那种。整两对 4″ x 4″ x 6′ 的方柱子，再用丑陋的角铁托架把这些柱子固定在门上。最后把它推到一名程序员面前。搞掂，这就是木门桌。

木门桌不仅价钱便宜，而且还可以提供很大的使用面积。放一个显示器在上面看起来根本就没占什么地方。要不是亚马逊实在太抠门的话，你在上面再放三个显示器也没问题。有任何东西你就尽管往上面堆，全部 hold 住。

从人体工程学的角度讲，木门桌有太多可吐槽的地方。键盘的位置太高了，敲的时间长了很不舒服。那些角铁的边缘很尖，一不小心剐在肉上就会很杯具，现在想起来简直是不堪回首啊。。。

尽管如此，木门桌后来仍然成为了亚马逊节俭文化的一个符号。它们演绎着自己的传说。多年后，在 2001 年，西雅图发生了一起 6.8 级的地震。那时我们已经搬到了另外的一幢建筑里——位于西雅图市中心灯塔山上面的风景秀丽的 PacMed 大楼——但是依旧用着木门桌。彼时彼刻，当整栋大楼在震中摇曳的时候，我们躲在木门桌的下面，庆幸之情简直是难以言表啊～

补充：

1998 年，在接受 Seattle Times 访问的时候，杰夫·贝索斯曾经说过，

木门桌是亚马逊节俭文化的象征，它代表着一种思考问题的方式。对亚马逊非常重要的是，我们必须确认我们把钱花在了提升用户购物体验的事情上。我们鼓励自力更生的文化。（使用这些简易的木桌）… 我们可以省下很多钱。

图片来源：https://secure.flickr.com/photos/wonderlane/5042548829/

从 Fenng 的文章里看到王建硕的一句话，「小公司总有一天会淘汰现在的大公司，自己也会变成大公司，否则的话，我们现在看到的都是那些恐龙级的企业了」。十四年前用破木门当办公桌的这家公司，如今成为了全世界最富有创新力最受人尊敬的公司之一。对不确定性的恐惧是大多数人的天性。一年多之前，和 Facebook 的朋友聊天，他们的危机感与努力程度让我吃惊。牛逼如 Facebook 尚且如此，不要奢望哪家创业公司能许诺你一个未来，这要靠大家一起去打拼。人这一辈子至少要工作二十年，抽出两三年到一家创业公司去尝试一下别样的体验，这是人生的财富。

另外，在十四年前的 1998 年，贝索斯说过这样一段话，我不翻译了，原汁原味。

“Not only do you have to avoid the bad ideas, but you have to avoid many of the good ideas for reasons of focus,” said Bezos. “Ideas are important, but they are relatively easy. What’s hard is taking that list of hundred ideas and ranking them and picking the three that we’re actually gonna do. That’s intellectually one of the most challenging things that happens every day in a company growing this fast, that sort of brutal triage of ideas.”

创业以来，我深刻地体会到了什么叫做「知易行难」。道理永远是这么简单，但拼尽全力，才能把握一二。

© guwendong for Beyond Search, 2012.
本文网址：http://www.guwendong.com/post/2012/early-amazon-door-desks.html
tags: amazon | 参与讨论

Early Amazon: Group discounts

guwendong — Mon, 20 Feb 2012 01:02:58 +0800

原文链接：http://glinden.blogspot.com/2006/01/early-amazon-group-discounts.html

原文作者 Greg Linden 毕业于华盛顿大学计算机学院，1997 年加入 Amazon，开发了享誉业界的 Amazon 推荐引擎。
著名的 Item-based 推荐算法的提出者之一；Findory.com 创始人。
其 Blog – Geeking with Greg 是个性化推荐领域最有影响力的博客（没有之一）。

想想看，一个热情有余但经验不足的研究生，外加一个新鲜出炉的 MBA，这样一个 team 能搞出什么名堂？是的，我不说你也能猜个大概。

我在亚马逊的第一个项目是组合折扣。虽然不做市场营销，但我相信，折扣是市场营销人员喜欢使用的促销工具之一。想要更多的消费者？打折出售。想要新客户？给他们首次购物优惠。

选择性折扣实际上违反了亚马逊的一些基本理念。杰夫（亚马逊创始人）的理想是把亚马逊打造成“网络上的沃尔玛”，无需打折天天都是低价。然而，新组建的营销团队还是认为，如果不能够把打折作为可供选择的促销手段之一，他们无疑缺少了一个杀手锏。

搞这个事情注定有人要当炮灰，不幸的是，我被推上了前线。作为一名人工智能专业毕业的程序员，我显然还不够智能，在项目开始时根本没有预测到结果。修改价格策略，会触及到网站、数据仓库以及结算，我以为借这个机会，我可以潜入整个系统内部去。我兴奋极了，要知道，那些代码都很有料。

说干就干，一名电脑 Geek，一名 MBA，我们两个刚加入公司不久的新人，磨拳擦掌。这个项目是我们的，我们来规划它，我们要搞掂它。

让两个不熟悉业务的新人搭伙本就已经糟透了，在这种情况下，我的热情更像是火上浇油。我开始收集与任务相关的需求。大家的想法多如泉涌，需求清单也越来越长。当询问“你是否需要…”的时候，得到的回答总是“Yes”。很快，我们的需求就演化成了搭建一套庞大的折扣系统，基于一些特殊的 URL 通道，允许进行个体折扣，组合折扣，限时促销，买 X 送 Y，你能够想到的所有促销方案，一个不落地进入了我们的需求清单。

我们有些坐不住了。作为刚离开校园的菜鸟，我懂的不多，不过我听到过这样的警告，项目膨胀会像冒着热气的粪球一样压垮你。现在，我已经开始闻到热粪球的气味了。

我试着缩减项目的范围。在对所需的代码修改进行分析之后，我建议以更简单的优惠卷的方式取代组合折扣。除了不太复杂的方式（类似“满 $Y 减 $X”）之外，仅限在订单的底部给出折扣信息，而不是几乎网站的每个页面上。

优惠卷方案受到了强烈地抵制。他们想要组合折扣。他们想把折扣信息弄到网站的每个页面上。我做了一些原型想要平复他们的热情结果也基本上是于事无补。只要一看到书籍详情页面，他们就会说，“AARP（译者：RP值为2A）的会员另加 5% 的优惠！”，或者“AARP 价格：$X”，而且对这个问题，他们就像在捍卫自己的名誉一样，坚持不肯让步。

于是，我开始编写代码了。

刚开始，我对 Oracle 数据库一无所知。幸运的是，我在一家书店工作。我一头扎进技术书籍里，像看漫画一样，饶有兴致地学习数据库知识以及如何作出良好的设计。我完成了一个差不多有十二张表的数据库设计，尽管我已经尽了全力，但第一次的评审结果还是彻底的杯具了。

我硬着头皮继续作。不得不在网站上几乎每一个页面插入回调，详情页面，搜索结果，导航页面，主页，购物车，订单。这些回调用来计算折扣，改变页面上的措辞。不得不创建一些专门供组合折扣成员使用的新页面。还有会计和客服工具也不得不进行相应的修改。此外还要开发新的工具，用来创建、修改和维护各种折扣信息。

这个工程如此浩大，不过到底还是做了出来，并且能够运转。天啊，我把组合折扣搞掂了。

可实际上，这是一次彻头彻尾的失败。营销团队在跑了六七个折扣方案之后，作出决定他们希望淡化折扣，还是天天低价这个来得更好。几年后，有人在亚马逊成功实施了一套优惠券系统。

这些老代码隐匿在字里行间，永远不死。好几次，我恳求着要去除组合折扣的代码，但总是杯具地被拒绝。那些回调就那样待了好几年，阴魂不散，每个遭遇到它的程序员都要白费时间弄明白它是干嘛的，非常令人讨厌。

那些年，“组合折扣”简直成了我的梦魇，每当有人提起它我都痛苦不堪。甚至到现在，一听到它我就非常闹心。

最近在重新梳理 Greg Linden 的《Early Amazon》系列文章，恰好之前刚写了一篇《Amazon与数据导向》，与这篇组合折扣的文章比对着一起看，蛮有意思，业务都是一步一步摸索出来的，无人例外。

© guwendong for Beyond Search, 2012.
本文网址：http://www.guwendong.com/post/2012/early-amazon-group-discounts.html
tags: amazon | 参与讨论

Amazon与数据导向

guwendong — Mon, 06 Feb 2012 01:52:40 +0800

我对个性化推荐技术的关注，是从 Amazon 开始的，因此，但凡是与 Amazon 个性化推荐相关的内容，我都比较有兴趣。知乎上有一个问题，《为什么 Amazon 的首页很少有促销？》，聚集了不少有益的回答。下面这个是我的回答，

世界的进步靠的是异类，美国线下商场也搞促销，Amazon 也一样可以依靠促销策略。在还没有改变世界之前就真心相信自己可以改变世界的人，要么是傻逼要么是真牛逼。Amazon 的 CEO 是杰夫·贝索斯，换个人不一定这样。keso 说的牛逼推荐算法是结果，长尾理论的兴起也是结果，在别人都不明白怎么回事儿的情况下，贝索斯一直坚持在做，这个是 Amazon 成为推荐系统之王以及可以引领云计算潮流的原因。

另外，大环境及所处的阶段也很重要。开始的时候，其实美国人也不看好 Amazon，亏了那么多年钱，所以相对的竞争不像现在国内电商这么惨烈，凡夫俗子们给了贝索斯足够的时间去建立竞争壁垒。年初的时候，淘宝赞助 resyschina 搞推荐系统大会，和淘宝朋友的交流发现，淘宝不可谓不重视技术。但如果你看看去年光棍节淘宝大促当日的成交金额，你会发现，你投入几百个工程师花很长时间搞出来的东西，在这些面前不值一晒，更何况，竞争对手中还有大票的普通青年一个劲儿地在搞秒杀和限时抢购，你会怎么选择？长远收益在眼前利益与竞争压力之前，没几个人可以扛得住。

最后，回答这个问题，“为什么 Amazon 的首页很少有促销活动”？贝索斯曾经说，“我们不是通过卖东西赚钱，而是通过帮助消费者做出更好的购买决策而赚钱”。Amazon，它和我们不在一个时代。

我没在 Amazon 工作过，上面的回答全凭揣测，说是 YY 也行。。。上周，前 Amazon 推荐引擎小组成员，目前个性化阅读社区无觅网的创始人 @林承仁，“从内部人员的角度补充了两点”：

1. 首页的空间这么有限，每个下面的部门都想把自己做的内容放上去（一旦霸占了首页的一块可能整年的目标就达到了），那么到底该显示哪些内容呢？Amazon 里面有一套机制叫King of The Hill Campaign，粗略的意思就是你们谁都有机会，但谁带来的价值越大展示的机会就越多。放到首页的内容当然也包括促销活动（比如Gold Box等），但其表现往往比推荐引擎差得多。

2. 我们在内部开发推荐引擎的目标是在serendipity（惊喜、发现），不单是让用户买更多的商品，而是让用户发现更多他感兴趣但他不知道的商品。这两者有很大的区别。

结论：为什么Amazon的首页很少有促销活动？数据导向。

后续我们在微博上又做了简单的进一步沟通，@林承仁：“Jeff怎么想还真不知道，只是他那种以客户为导向的坚持基本上已经灌输到每个员工心上去了。对长期利益的追求跟坚持到后面都慢慢体现出来了，公司内部有个很出名的 process：start from the customer, work backward…”

另外，关于首页上“促销和推荐”的部分，前当当网技术总监 @wanght1979 也透露了一个情况：“当当图书首页的推荐模块位于第二屏，但点击量是该页面最高的”。

平衡短期利益与长期利益，数据导向，这两点我相信绝大多数管理者都知道，但这些真正的是知易行难。

ResysChina 上有一个 Amazon 专栏，其中有些是 Greg Linden 的《Early Amazon》系列文章的中文翻译，我起了个头翻译了前两篇，后面还有十几篇没有完成。Greg Linden 这系列文章写得非常精彩，我在这里邀请有盈余的朋友和我一起，把剩下的部分翻译完成。有兴趣的朋友可以把你想翻译的那一篇发个邮件给我 wendell.gu#gmail.com ，我来统一协调。非常感谢！

© guwendong for Beyond Search, 2012.
本文网址：http://www.guwendong.com/post/2012/amazon-data-oriented.html
tags: amazon | 参与讨论

「个性化」时代

guwendong — Tue, 31 Jan 2012 12:55:26 +0800

2011年初我发表了一篇文章《搜索已死，推荐上位》，结果证明实际情况蛮配合的，2011年可以说是个性化推荐爆发的一年。我订阅了推荐引擎/个性化推荐等几个微博关键字，眼睁睁地看着相关的微博内容蹭蹭地往上涨，懂的不懂的不懂装懂的打酱油的都在提个性化，甚至连僵尸帐号都在掺和。春节订票大家被折腾得不行了，有朋友表示，“12306，你妈妈叫你做个性化推荐！”。这一年，小事儿咱不表，看看几家大佬的表态。

『迟来的产品升级百度终上个性化推荐的新台阶』百度CEO李彦宏将此次转变称为百度首页“迄今为止最重大的改变、最重要的创新”。其中的一大创新之处是百度对“推荐引擎技术”的应用，即基于用户行为、兴趣建模，通过算法和数据分析，准确识别用户需求，向用户智能推荐想要的信息、服务或应用，从而提高用户转化率及强化用户黏性。
『周鸿祎：360导航UV超hao123 未来布局垂直搜索』周鸿祎表示，360浏览器和导航网站在中国的流量已经很大，但不会模仿百度做传统搜索，目前360已经在根据用户使用习惯推荐个性化内容，这可能代表了未来搜索的方向，另外360将在垂直搜索领域做一些尝试，将充分发挥浏览器覆盖面大的优势，在垂直搜索上给用户提供更多不同的体验。
『搜狗首推探索引擎注重用户个性化需求』搜狗积极开发的新一代“探索引擎”的目标，是要给寻找信息的网民完全不同的上网体验：例如，当用户打开浏览器阅读一篇新闻的时候，探索引擎会在页面下方自动推送其他网站相关的报道和评论；当用户在互联网上浏览商品信息的时候，新一代搜索引擎就会在页面下方自动向其推送其他网站上该商品的价格、优惠券以及商品评论。也就是说，新一代搜索引擎能够“猜”到用户想要什么，并且及时向用户推送他所需要的信息。
『数据在淘宝』淘宝会针对消费者提供一些个性化的推荐，未来的淘宝可能会比现在的淘宝发生非常大的变化，未来的淘宝会变得非常个性化，就是会有消费者更感兴趣的产品，如果卖家都能够对这些个性化的产品做足够多的准备，如果没有个性化能力的话那很有可能失去竞争力。
『豆瓣首页改为豆瓣猜基于个性化算法提供内容』阿北：“豆瓣猜2005年就有了，这是我们一直在积累的事情。但是新的豆瓣猜才刚刚面世，它的形态、使用和内容都会有各种问题。我们会在新的一年里逐步改善这个首页，也会慢慢把更多类型的内容放进来。豆瓣猜的终极目标是这样的：每天你打开豆瓣，满眼看到的都是各类你会感兴趣的新东西。我们迫不及待地想和你一起让这个画面成为现实。”
另外，祝贺百分点科技的好朋友们获首轮融资。

个性化推荐，已然无处不在。

认识我的朋友们应该都知道，2011一年我都在折腾「指阅」，成绩不敢说有多大，但起码上路了。指阅 2012年会有比较大的升级，希望能把产品各方面的体验都有一个提升，欢迎大家试用。

天涯海阁的 watsonxu 最近发了一篇文章，国内个性化阅读服务汇总，文章最后留了几个问题：

如何有效获取用户的兴趣：用户的阅读兴趣往往很泛，泛意味着这种兴趣获取的难度的成本会更高，如何基于现有的社会化服务或者阅读过程更好的获取用户兴趣是一个需要研究的话题。
如何更有效的推荐阅读内容：推荐阅读内容的难度可能大于电影、音乐和图书，因为电影、音乐和图书都有相对固定的维度，而根据阅读内容来挖掘用户的兴趣可能难度会更大。
当然最大的挑战在于：个性化阅读其实基于一个前提就是能够推荐用户感兴趣的内容，而实际的过程中如果不能给每个用户推荐感兴趣的内容（或者说这个会有个过程），那如何形成用户的粘性？另外个人的一个困惑是个性化阅读的需求真的有那么强么？

说说我的看法。

基于社交网络的数据来进行用户兴趣的建模，这个已经是目前几乎必选的方式之一了。关注个性化推荐领域的朋友应该都知道，冷启动问题是一个困扰这个领域已久的老大难问题。通过社交帐号授权获取用户在社交网络上积累下来的数据，是解决冷启动问题的有效有段。这里有一些简单的数据示例。当然，这些数据并不见得可以代表你的所有兴趣，但却是个不错的起点。除了分析兴趣点，你还可以分析用户的「社交影响力」[1] [2]。我之前基于微博数据做过一个小实验，针对「IT互联网」[1] 和「创业与投资」[2] 这两个领域，计算得到了微博帐号的影响力排名。这方面最著名的要数 Klout，国内有一个不错的创业团队在做类似的事情 μ+。这种影响力分析结果对进行微博营销蛮有参考价值，但它是一种相对粗放和更偏向于全局的热点分析，对个性化的帮助有限。这方面，更有效的是 Facebook 提出的 EdgeRank，这里面融入了个人的「口味」，衡量的是好友圈子内的影响力。

如 watsonxu 所言，做个性化阅读的产品难度挺大的。Quora 上有一个问题，是讲个性化阅读产品面临的困难的，答案很棒，我简单给总结了一下：

人的兴趣很广泛，而且多变。你为什么会对某个主题感兴趣或者不感兴趣，这里面的原因很复杂，如何用算法模拟出来是个很大的挑战。
每天新产生的资讯非常之多。像 Amazon、Netflix 之类的推荐引擎，它们面对的候选条目集合是相对稳定的，这个比较好理解，它们每周也会增加一些新产品，但和资讯数目相比，差距甚远。
大部分资讯的生命周期非常之短。你现在推荐阿凡达，效果也许不会比两年前差多少，但推荐资讯就不行了，推荐一篇几天前的文章，很可能就要挨骂了。在如此短的时间窗口里为每位读者做出智能推荐，这对系统的要求非常之高。
资讯聚合通常都要面临大量重复内容的问题，这在国内尤为严重，这会极大伤害个性化资讯应用的用户体验。而且国内还有另外一个问题，就是原创的高质量内容相对匮乏，推荐引擎巧妇也难为无米之炊。
与微博之类的个人信息发布工具相比，这类工具缺乏互动。每次你发布一条微博，你的 Followers 就可以看到，而大部分的个性化阅读工具，我们只是默默地使用它，不具备病毒传播特性而无法迅速爆发。
缺少“社区”的感觉，因为大家看到的东西各不一样。这有点像为什么很多人喜欢在电影院观看电影，而不是在家里，即使在家里看可能会更舒适。大家需要那种与其他人一起在做同一件事情的存在感。

详细的技术拆解，可以去看看郑昀的这两篇文章 [1] [2]，基本上我对这两篇文章的评价是，“从此这个领域再无技术秘密可言”。

阅读是人的基本需求，个性化阅读是这个基本需求的 2.0 版。套用个性化推荐「三个合适」的表述，个性化阅读要解决的问题是，在合适的情境下以合适的形式为用户带来合适的内容。因此，“个性化阅读的需求有多强？”是个伪命题，个性化阅读与阅读本身没有矛盾，它的目标是让阅读这事更简单，谢文老师曾经以看女排新闻为场景给过一个形象的例子。现在大家对个性化阅读存疑，是因为相对于大量非个性化的资讯类产品，还没有哪一款个性化产品显示出了与众不同的能力，尤其是与 Twitter、Facebook 这类以社会化见长的产品相比，个性化产品并没有高明太多。这很像当年围绕智能手机的讨论，之前很多人在说手机不就是打个电话发个短信嘛。。。直到 iPhone，重新发明了手机，从此没人再怀疑。目前个性化阅读这个领域，Flipboard 和 Zite 是好榜样，但其实也只是刚开了个头，大家都还在摸索，需要有人用实实在在的产品体验，来重新定义「阅读」。这个市场不是不爆，是王者未到。

之前做简网的时候，我们主要在研究两个网站，一个是 Zite（估计没人用过它的 Web 版吧），还有一个是 Evri（它和指阅前后一天 iPad 版上线），后面又陆陆续续出现了一些和我们核心功能类似的产品，比如：Mashable Follow、Trap.it、Google+ Spark 等，都是以「主题」为起点谋求信息消费的个性化。现在总结，我只能说，相对于国内互联网的现实情况，我们当时的选择太超前了。从去年移动互联网升温，社会化/个性化阅读逐渐被大众所接受，对有志于这个领域的同道来说，好年代其实才刚刚开始，让我们一起努力！

这篇文章标题里面的「个性化」是加着引号的。卖一个关子，我在酝酿一篇和《搜索已死，推荐上位》类似的标题党之作，名字想好了，叫做《重新定义「个性化」》。不过大家别期望太高啊，有可能有，也可能没有。。。

招人是我目前工作的头等要务，码了这么多字，大家原谅我必须要贴一个小广告啊！

我们有一个简单的信念：互联网的未来必定是个性化的。如果你有那么一点儿小理想化，希望能够帮助用户更好地消费信息，那么现在加入我们一起，是最好的时机。
职位信息请看这里：http://www.zhiyue.me/team.html

© guwendong for Beyond Search, 2012.
本文网址：http://www.guwendong.com/post/2012/recsys-era-coming.html
tags: cutt, opinion, resys, 指阅 | 参与讨论

欢迎大家试用指阅

guwendong — Tue, 01 Nov 2011 11:07:46 +0800

个性化阅读类的应用一直是一个火热的创业方向，这个领域已经先后出现了 Taptu、Pulse、Zite 等红极一时的应用。两个月前，一直火热的 Zite 才被 CNN 以 2000 万美元的价格收购了。我们团队简网 Cutt.com 一直都很看好这个方向，于10月10日在 App Store（下载地址）发布了我们自己的个性化阅读应用“指阅”，http://zhiyue.me。

指阅的目标是新一代的资讯发现与阅读应用，致力于打造懂你口味的阅读体验。指阅将互联网上的繁多资讯收集梳理，以『话题』的形式重新组织成“微媒体”，帮助你方便快速地发现你感兴趣的内容。

首次打开指阅后，应用会邀请绑定你的微博帐号，经过你的授权，指阅的服务器后台就会分析你近期发布的微博内容，得到你可能感兴趣的主题。同时，绑定微博之后你可以把你发现的好内容分享给你的好友。

在进入文章阅读后，你可以随时完善文章来源和主题，应用会记录你在阅读过程中的每个操作，喜欢与否、来源选择、话题偏好、分享互动。你的这些反馈，可以让指阅更加完善地了解你的阅读喜好。

通过语义分析与个性化推荐技术，指阅试图为你打造个人专属的信息过滤与发现引擎。这些服务器端的后台技术，我们团队内部称之为“信息基因技术”，此前已经推出的产品 cutt.com、机器维护的微博帐号以及指阅都采用了相应的技术。

我们团队的 CEO 丁钧，1997 年进入微软工作直到 2006 年，离开前是微软顾问咨询部的总监，他为人很低调，大家可以去微博围观他。我们希望通过对人们兴趣信息的捕捉分析，甚至是某一区域、某一年龄、某一族落的人群的精准定位，为用户提供一系列的个性化服务。不过目前阶段最重要的事情，还是专心打造好一款对用户有用的产品，欢迎大家下载试用（下载地址），多给予我们意见和帮助。我们近期还会加入微博相关的功能，敬请期待。

过去的一年时间，无论是对我们团队还是我个人，都是非常重要的一年，我收获了异常宝贵的人生经验，我将永生难忘。千言万语汇成一句话：感谢每位兄弟，我为有幸身处这样一个团队而无比自豪！

推荐究竟是不是下一个爆发点？

guwendong — Wed, 09 Mar 2011 03:46:51 +0800

这是我在知乎上认真回答的第一个问题，我把它拿过来稍作修改，算是为2011推荐系统论坛的会后总结起个头。会议当天我琐事很多，基本上没能好好听讲，因此有关主题内容的，等我看完视频补好课之后再写吧。

首先，咱们界定一下概念，这里的“推荐”，应该不单纯指的是大家所熟知的“购买了X的还购买了Y”这种狭义的形式，而应该是常说的“搜索”与“发现”中的后者，“推荐”的目标是让用户的互联网体验更加个性化，帮助用户轻松“发现”他感兴趣的信息，或者说“让信息找到你”。

那么，推荐能不能成为爆发点，这个问题我个人这么看。两点：1、这件事情是不是被广泛地接受及认可？2、是不是有越来越多的人投入到这件事情？

对于第1点，我相信答案是毋庸置疑的，推荐引擎或者推荐模块，已经逐渐成为了面向消费者的互联网应用的标配，甚至可能会发展成为互联网应用的基础设施。推荐目前的状况，我觉得和搜索早期很像：1）功能的价值逐渐让用户觉得不可或缺（具备了爆发的潜质）；2）多数从业人员对其还比较轻视（不认为其有独立存在的价值）。这里面就很可能有机会了。

对于第2点，我认为非常关键，需要有足够多人做出足够多的探索。变革虽然最终是由精英推动的，比如，搜索大潮由斯坦福的两位天才掀起，应用市场的模式由乔布斯教主引领。但是，不能否认的一点，这是一个“量变到质变”的过程，Google 登顶能称得上是一将功成万骨枯了，应用市场模式的产生也跟长久以来大家对于 Windows 软件管理模式的不满有直接关系。目前对于推荐，一个普遍的疑问就是，“它能否成为一个独立的产品，还是仅能作为一项功能存在”？这个问题，分析家们的答案一文不值，要靠在这个领域内深耕的一线人员去探索。目前整体来看，无论国外还是国内，这个领域的创业公司在增多，但总体数量还不够，尚待进一步观察。

张栋老师在会上抛出了一个说法，“做一个推荐系统的影响因素：UI/UE: 40%; data: 30%; domain knowledge: 20%; algorithm: 10%”。这个引起了不小的争论。我的意见是，真实世界里的事情不是这么划分的，产品/技术/算法不应是割裂的，绝对意义上讲也不应该存在哪个更重要的比较，灵活分析“在某个时期”应该侧重于哪部分更合适。而且，即使按照这个比例分也可以，那10%恰恰就是成为伟大产品所必须要迈过的一关。电商可以用活动促销这些直接有效的手段拉升业绩，但会有Amazon这样的企业愿意在推荐引擎上持续投入超过十年；搜索引擎可以人工调整结果甚至强插小广告，但同样会有Google这样的公司愿意坚持在算法上优化保证结果的公正。ResysChina 在微博上的点评，我认为是比较中肯的，“心理学研究表明，人们往往对序列最前与最后的事件记忆最深刻，其实大家更应该关注的是中间的两个因素：数据与领域知识。因为一头一尾两个因素的热议更多的是因为职业之争，就像PM与程序员之争一样。而数据与领域知识是需要并且可以花心思做好，而且可以得到实实在在的产出的”。好吧，这段跑题了。最后有一点是真的，推荐深入做下去是具备很高技术门槛的。

言归正传，所谓爆发，一定得和大势对上节拍。综上来看，推荐这件事情，量方面在积累，专注于这个方向的人才在增多，具备技术门槛和成长空间，因此，我个人认为这个方向大有所为。

© guwendong for Beyond Search, 2011.
本文网址：http://www.guwendong.com/post/2011/recsys-will-explode.html
tags: resyschina, RSF | 参与讨论

2011推荐系统论坛·官网发布

guwendong — Fri, 04 Mar 2011 01:10:11 +0800

2011推荐系统论坛官方网站发布，http://www.resysforum.org/，后续会议视频及PPT资料，均会在此发布，欢迎大家前去围观。

目前，报名工作已经停止，参会名单也已经全部确认完毕。本次大会提交的报名人数远超我们的预期，非常感谢朋友们的大力支持与热情参与。有报了名但未收到确认信的同学，恳请你们能够理解和谅解。也请未获得参会名额的朋友们，不要在会议当天直接空降，目前留作以备万一之需的名额也已经全部放出，人数已达会场极限。还有朋友直接给我发邮件的，未能一一回复，也请多多包涵！不能参会的朋友们也无需遗憾，会议之后会有全程视频录像和PPT资料公布，同样给力。另外，会议当天会进行微博直播，感兴趣的朋友可以关注 ResysChina 官方帐号。

大家的支持，是对我们辛苦工作的最佳褒奖，ResysChina 成员会继续努力，为大家带来更多更好的活动。谢谢大家支持！

3月6日九点，北京地质大学国际会议中心，期待各位朋友的到来！

特别鸣谢：

感谢土豆网为本次会议提供视频支持。
感谢淘宝网为本次会议官网提供设计支持。

推荐无处不在

洪波，知名IT评论人

超市中靠近收款台的陈列架，就是一种推荐；玩聚网的Social Rank、锐推榜，iLike的社区推荐，是一种社会化推荐；亚马逊购买A的用户还买了B和C，是基于统计的推荐；Pandora的音乐指纹和Netflix的Cinematch，是个性化推荐。
推荐本身恐怕很难成为互联网的下一个爆发点，但推荐引擎一定会跟不同的业务形态、不同的应用场景、不同的用户需求密切关联，产生大幅增值。推荐算法在未来会变得越来越重要，越来越无处不在。

颜嵘，Facebook 研究员

以 Facebook和 Twitter为代表的Web2.0信息革命，把过去单一的、以信息管理为主导的互联网，逐渐转变成为一个个性化、分享化和以人为本的新一代网络连接平台。在这个大环境下，推荐技术将会成为推动这个个性化进程不可或缺的一环。我相信在今后的10年内，推荐技术会对人类生活产生越来越重要的影响。

王守崑，豆瓣首席科学家

在互联网领域，上一个十年，我们经历了从 web1.0 到 web2.0，从门户到社会网络的巨大转变；下一个十年，我们一定会看到这一领域更加激动人心的变化。个性化推荐从技术到产品，从系统到应用，一定会遇到一系列非常有挑战性的问题，也一定会有各种各样充满天才的解决方案等着我们去发掘。我希望在中国也是如此。

张栋，百度科学家

释放数据的力量，专注技术的魅力，探索商业的模式，三者结合，推荐引擎大有可为。

ResysChina 发起人，谷文栋项亮

Google 的辉煌成就，曾经让许多人一度认为，Google 时代就是互联网的终结了。而近年来以 Facebook 为代表的社会化网络成功突围，使人们明白，一切其实才刚刚开始。用户贡献内容，社会化途径传播，这让信息量极度膨胀。潘多拉魔盒已经打开，“选择”的时代已然开启，新的十年，我相信，推荐引擎必领风骚。

© guwendong for Beyond Search, 2011.
本文网址：http://www.guwendong.com/post/2011/resysforum-org.html
tags: resyschina, RSF | 参与讨论

您可能也喜欢：
Early Amazon: Inventory cache (@resyschina)	Amazon的个性化推荐 (@resyschina)	Early Amazon: boy-am-i-hard-to-please	Early Amazon: Group discounts	Early Amazon: The first week
无觅

您可能也喜欢：
Early Amazon: Inventory cache (@resyschina)	Amazon的个性化推荐 (@resyschina)	Early Amazon: Inventory Cache	Early Amazon: Door desks	Early Amazon: The first week
无觅

您可能也喜欢：
Early Amazon: Inventory cache (@resyschina)	Amazon发布购书app，旨在为学生服务 (@tech2ipo)	Early Amazon: Inventory Cache	Early Amazon: boy-am-i-hard-to-please	Early Amazon: The first week
无觅

您可能也喜欢：
Amazon的个性化推荐 (@resyschina)	Early Amazon: Inventory cache (@resyschina)	Early Amazon: Inventory Cache	Early Amazon: boy-am-i-hard-to-please	Early Amazon: The first week
无觅

您可能也喜欢：
指阅HD: 专注用户喜好的社会化阅读应用 (@tech2ipo)	iCloud：苹果的后PC时代杀手锏 (@tech2ipo)	欢迎大家试用指阅	让网络，更简单！	迟来的感谢：Resys 豆瓣活动
无觅

您可能也喜欢：
指阅HD: 专注用户喜好的社会化阅读应用 (@tech2ipo)	待阅应用大比拼 (@alibuybuy)	「个性化」时代	让网络，更简单！	我们在等你！
无觅

您可能也喜欢：
Reculike : 开源论文推荐系统 (@resyschina)	浅析新闻推荐及个性化推荐的领域相关性 (@resyschina)	2011推荐系统论坛	2011推荐系统论坛·官网发布	向 Koren 先生提问
无觅

您可能也喜欢：
专访：无觅网创始人谈个性化推荐 (@resyschina)	简网发布“指阅”，打造中国版Zite (@resyschina)	2011推荐系统论坛	推荐究竟是不是下一个爆发点？	向 Koren 先生提问
无觅