CNBorn|我不是大牛

OpenParty "琴瑟和鸣"

Fri, 31 Dec 2010 10:42:53 +0800

2010年11月份的OpenParty "琴瑟和鸣"活动话题众多，热情的分享者们带来了不少精彩的话题。从哈佛大学的《幸福课》体会分享到Web安全架构，从PHP框架开发到西班牙弗拉明戈舞蹈，话题依然保持着多元化的特性。关于活动的详细信息欢迎大家访问OpenParty网站。在此简要记录一下自己参与的两个话题的信息。

首先是由张韡武带来的西班牙国粹艺术－弗拉明戈的介绍。

这个介绍中首先讲解了什么是美、以及舞蹈艺术是人们发自内心想要表现美的一种形式。18世纪下半页弗拉明戈发源于西班牙南部的安达卢西亚。在起源之后，主讲人继续介绍了弗拉明戈的发展与传承，以及与其它艺术形式，如书法等的共通性。弗拉明戈一个显著的特征在于，它更多是由艺术家出于表达的内心情感而被创造，而非达到某种即成的"美的标准"，迎合某种潮流或观众的需求。这使得弗拉明戈的气质更加个性化，也更加鲜活。

印象最深的是在话题的最后，应邀而来的弗拉明戈舞蹈家现场即兴表演后的一句话：弗拉明戈是一种舞蹈，也是提倡热爱生活，以积极的情绪面对生活的一种态度。

这个话题的细节内容很多，同时还有很多的视频欣赏，感兴趣的朋友请移步这里查看视频。

---

接下来是Tin带来的《爬虫点滴-实现搜索用Spider的一些细枝末节》话题。

首先Tin讲述了下自己进入研究爬虫这个领域的体会。了解些搜索引擎的基本知识，同时在没有经验的情况下，看看社区的项目是怎样做的。没有公开的相关知识，请教下身边的朋友怎样做，从而了解这个领域可能遇到的问题和风险。随后自己动手，开始做一些简单的原型。全网爬虫最简单的Python实现只需不到100行代码。待这个原型运行起来后，就会开始碰到一些问题。此时就要求助于相关的论文。参考论文以改进对自己系统的设计，使其逐渐完善成形。下一个步骤是监控，搜索引擎爬虫作为一个无人看守的系统，需要有很多指标来检测整个系统的运行情况。这些指标也同样反应了这个爬虫的质量。经过1-2个月的运行，通常都会遇到性能和存储上的问题（开始应用分布式存储，做好容量预测），解决这些问题在依靠查看论文、学习前人经验的同时，还要自己进行大量的实践。通过重复这个流程，建立各种指标来完善系统，是一个持续的过程。

爬虫分为两个大类：

全网抓取

最大的问题是存储容量
去噪（过滤掉各种不需要的信息）
任务调度（面对近乎无限的互联网，用有限的抓取资源，最大程度地获取有价值的信息）

小而专的垂直抓取

主要工作在于解析一个特定领域的信息
对这些信息进行识别
关键在于把重复的劳动变成流程、使其模版化

全网抓取的构成（搜索引擎技术基本要素）四个部分

抓取
内容处理
倒排索引
搜索前端

抓取工作需要解决的一些问题：

归一化（去掉重复文本）
锚/文字链接处理
页面优先级处理、权重处理
新鲜度控制
礼貌度
死链和检测
吞吐量：1个CPU的机器，也可以吃满百兆带宽

正文提取：只索引有意义的部分
对于搜索引擎应用来说，分词非常重要
相关度（相关度词汇语意库）

全网抓取问题

必须使用分布式存储，因为传统的数据库在运转两个月以后都会无法负担
排链接
看论文，不同的实现方法

垂直抓取技术的实践

先对网页进行Tidy
用CSS-Selector进行语义识别和抓取
可以使用Proxy来抓取

No-SQL数据库与爬虫原生相关

H-Base

需要SA介入
是BigTable实现

实践Cassandra并最终放弃

是Dynamo实现
难以实现锁
稳定性成问题
节点挂得多，存不进数据
要考虑可用性、分区容忍性，可移植性

Google Caffine

在数据库实现了事务和Trigger
爬虫使用多线程
尽量少考虑异步实现（异步很难调试）
锁/timestamp 都是基础服务(flickr用mysql 一张表一个字段实现了timestamp)

其它的一些体会

Microformat很重要
Web应该开放

OpenParty "玲珑秋月"

Mon, 15 Nov 2010 18:59:03 +0800

2010年10月份的OpenParty "玲珑秋月" 活动在经过了九月份的休整以后，携着跨越了艺术、技术、旅行等领域的话题归来，关于活动的详细信息欢迎大家访问OpenParty网站来了解。在此简要记录一下自己参与的几个话题的信息。

首先到是王海磊带来的"Code Generated Art"话题。这个话题是我个人期待已久的融合了计算机技术及艺术的话题。演讲者王海磊对于自己的描述是"一个艺术家，设计师和计算机程序员，现在在致力于通过计算机技术来创造新媒体艺术"。下面我简要描述一下自己在这个话题中感受最深的部分。希望能帮助大家对于新媒体艺术有一些简要的了解。

计算机与互联网已经影响了人类社会的每个方面，为什么不能影响艺术呢？由于对于艺术的追求以及对于计算机技术的喜爱，最终这个方向成为王海磊的职业发展方向。

大家可能已经见过很多计算机生成的漂亮的分形画面，其中可能很简单就可以得到十分美丽的画面，那这些画面都是艺术品么？单纯美丽的画面并不是艺术品，艺术品的一个先决条件是创作者在创作伊始，通过一个可能的故事和线索，引起的一种触动，甚至是深入哲学层次的思考来决定的。

用计算机代码生成的艺术通常被称作 Generative Art，程序可以用来做我们从来没有想过的事情，而不仅仅是我们日常使用计算机去做的那些事情。

计算机程序只是工具，它并不创造艺术。整个"生成艺术品"的创造过程可以描述为：有一个灵感来触动你，有一个想法，把自己想要的东西以计算机语言的方式呈现出来，然后计算机语言操作计算机来产生图像。

一个"生成艺术"的计算机程序可以产生很多图片，从成百上千张中选出几个满意的不是一个轻松的过程；其挑选标准是能恰如其分地表达作品的目的，如果这些图像都不能达到目标效果，那么就修改程序，反复这个过程。

程序员朋友们可能感兴趣的是：需要通过什么工具来完成这些艺术品，其中使用到的工具包括：NodeBox, Processing, Python, Ruby, Objective-C，其实工具并不是最重要的，就生成作品这个需求来说，在Photoshop里面写脚本也可以做到相同的效果。

作品展示：

"等高线图" - 展现地理信息数据里的简洁有效的抽象美。
"盲文排列" - "眼睛"，主题：盲文就是盲人的眼睛
"天目" - 由500万条线构成，为了达到这种质感，实验了很久
"女书"

前一阵在北京还举办了新媒体艺术展，并且参展"艺术北京2010"----中国最高等级的现代艺术展，说明Generative Arts这种艺术形式已经得到了现代艺术界认可。

对这个话题有着更多兴趣的朋友，欢迎访问王海磊参与的缘分新媒体艺术空间网站。

---

我自己带来的"尼罗河背包记"话题，则吸引了很多对于旅游和埃及感兴趣的朋友。

这次出门旅行，最让我感到震撼的，并不完全是旅途中壮丽的景色和遗迹──的确，阿布辛贝神庙和金字塔带来的是跨越数千年的震撼，但是最深刻的体验却是旅途中遇到的人和事，那些来自不同国家的年轻旅行者的所见所想使得世界不再仅仅只是停留在地球仪上的概念，而是身边可以感受和了解的实在。

从去年的旅行话题分享经验看来，我一直在重新思考旅行话题分享的意义。分享话题的意义何在？"向他人表达我去过这里"？这样的意义根本就不重要，因为无论去过多少地方、有过怎么样的境遇，这些都将变得不再重要，原因是它们已经不再是单独的故事，而是化作了旅行者不可分割的一部分；在他人看来波澜壮阔的冒险旅程，可能只是旅行者认为最不起眼的部分，而那些真正让旅行者震颤、感动、赋予了整个旅行以意义的东西，却不能非常简单地用任何文字或者书面的形式来加以表达，唯有亲身体验方能感受。所以，旅行游记的最根本价值，正如我以前所说过的那样，依然是激励着更多人上路，去观察并探索外面的世界，这个世界是广阔的，但除非你亲自去探索和发现它，否则这概念上的广阔并没有太多的实际意义。

此次演讲中的slides已经上传到OpenParty网站，大家可以在这个"尼罗河背包记"页面上看到；这次旅行途中的一些照片，我已经在我的豆瓣相册上传，欢迎感兴趣的朋友前往察看。同上次旅程一样，关于这次旅行路上的详细见闻，也会在将来在这里的旅行文章连载中出现，敬请期待。

---

"从0到30万，我做liageren.com这一年"这个话题是由俩个人网站的创始人刘文举(Dave)带来的创业话题，其中讲述了很多创业之中的故事和乐趣，也有着对于很多创业者至关重要的经验。

在最早萌生了"为情侣使用的网站"这个idea之后，Dave就自己尝试去做，同时自己也是网站的最初用户。后来毅然辞职，将这个网站作为事业来进行。期间也经历了用户增多的喜悦以及资金不足的困境，现在俩个人已经是相同领域网站中的佼佼者。

网站的几次转型，其中有不太成功的尝试，如策划了面向单身用户的交友功能，但是发现所取得的效果并不十分理想：有类似功能的网站很多，并不能突出自身的特色，相反，俩个人一直以来作为一个专为情侣设计的网站，突然加入的单身功能也让已有的用户感到十分困惑。后来就逐渐淡化了单身用户的功能。从中得到的经验教训是，要始终坚持提高网站的辨识度。

尽早尝试盈利，不要过分依赖投资。现金流就是创业者流淌的血液，这是创业中至关重要的一环。俩个人尝试通过为收费用户提供vip服务的方法，很早就开始了在盈利模式上的努力，并且效果不错。

刘文举的话题中，我个人认为最具有价值的一个部分就是"如果创业可以重来"，这部分中列举了在创业中经历的很多经历和故事，以及如果能够将这个过程重新来一次，作为一个有经验的创业者会避免的问题。这部分列举的很多要点，都是来自亲身体验，如"不要试图满足所有的用户；开发者和真实用户的距离有一光年；用户不在乎你的技术"，这些没有体验就不会感受到的真知灼见，对于创业者来说是很有价值的。

我的记录只覆盖了这个话题的一小部分，感兴趣的朋友可以在这里察看Dave的幻灯简介。

OpenParty "清雨榕香"

Sun, 12 Sep 2010 22:34:57 +0800

2010年8月的OpenParty "清雨榕香"活动创下了各个话题参与人数的新高，很多话题的会议室都密密地站满了人，在各个热门话题的驱使下，大家的热情依然不减，在一个下午的时间里体验了一个又一个知识分享的小高潮。关于活动话题的详情，请参见OpenParty网站上关于本次活动的链接，下面简要记叙下我参与的几个话题的相关信息。

首先是来自淘宝网的苏宁带来的"淘宝广告技术部开发流程和Scrum实践"，淘宝的Scrum实践一直应用于广告竞价系统的开发，取得了一些成果。想必大家都想要细细了解一下Scrum在大公司内部的实际应用案例，这个话题提供了很多相关的信息，帮助大家更好地了解Scrum以及实践Scrum时会遇到的一些问题。我的记录基本上遵循了讲解时的Slide结构，有一些内容是从现场的讲解中了解到的，也补充了进去。

Sprint 刚开始时

使用excel来管理，自动生成燃尽图
流程：产品经理提出需求->Sprint->产生Backlog->进行开发及测试，最终到产品上线->Review

只有产品、开发、测试几个角色，角色比较少
受干扰因素少，Scrum流程比较精简

现在Scrum开发流程

功能需求数目增加
很多时候都是项目进行一半的时候才引入Scrum
团队中角色数目的增长

复杂的Scrum逐渐开始

经常有工作中遇到的种种问题而引发的中断，此时Scrum要如何进行配合(明确分工，通过流程进行配合)

淘宝的Scrum角色

产品
架构师
TL/PM/Scrum Master
开发
测试
PE
运维工程师

角色的作用

产品经理

提出需求、提出产品文档，对项目进行验收
需要注意的是，在淘宝，相对于一般的Scrum流程，对于文档的要求要更高一些。只有更高的文档要求，才能保证公司业务可以更从容地面对人员变动等情况。

架构师

分析需求对系统架构、功能上的变动
出台系统调整方案
系统总体设计
掌握系统改造成本

TL/PM/Scrum Master

组织Sprint
追踪项目开发进度
沟通协调

测试

需求提出之后，测试就会进来
了解需求动机
测试用例
各种测试
TDD

开发

模块
代码开发
单元/内部集成测试
Bug修复
上线手册（这部分是必须的）要交给运维来Review

运维（产品运维）

了解业务需求、系统瓶颈
熟悉模块接口和数据接口
故障应对措施
流量增长模型
实际上线操作

整体Scrum流程

由产品经理和架构师来共同确定功能需求，完善比功能基本明确需求对于系统功能的变更和影响，产生未细化的Backlog
然后将未细化的Backlog通过Sprint来产生细分的backlog，交由开发者进行开发
开发人员在开发的过程中，需要和测试和运维一起进行协作来完成。在交由运维人员进行上线以前，运维人员必须从测试人员那里拿到上线许可。不经过测试人员认可的项目不能上线。

目标

一切不以上线为目的的开发都是耍流氓

团队配置

开发测试比例　2:1
尝试结队编程，在一段时间内实行，后来发现成本比较高，就放弃了。

计划会/需求沟通

需求点罗列
需求的实现思路
任务分解
每日晨会的三个经典问题

Sprint总结会议

头脑风暴，集思广益
成功
不足
改进方案

任务分解：WBS

规定了上线时间，能否完成？
需要落实到每个人，每个人的各个工时，算出总工时，然后再确定上线时间。
而需求要做到能分解的就分解掉
如果需求提出方不能满足所计算出的上线时间，那么就要进行研究讨论看看砍掉哪方面的需求以达到更短的上线时间。
人日的计算方法；通常一个人的工作还要有分工，60%开发，40%运维；按照一个人每天６小时的工作来计算

Scrum策略及工具

调整工位：一个项目的人员坐在一起，减少沟通的成本

还举了两个案例，基本上讲述了在项目进行过程中，没有在早期就注意到影响项目的一些风险，导致风险被拖后
而项目进行过程中的变数非常大，经常有意想不到的情况来打断项目开发的过程，解决问题的成本非常高
对于工程师来说，要尽力产生可复用的代码
要多考虑风险，尽早解决危机，一个Scrum能解决的问题，不要带到下一个Scrum

淘宝内部使用的Sprint工具

Excel
Sharepoint + Project
XPlanner - (记录工程师实际的工作用时，最后自动生成burndown chart，但是最后由于工程师反映此项工作太耗时间，被搁置了）
Mindmap，现在主要使用mindmap来在一个巨大的脑图上记录各种信息。这个脑图非常细致，规定了各个人要进行的任务，任务的划分也非常细致，时间精确到小时

Sprint分解会

开发人员自己领取任务。这部分淘宝的做法和Scrum的标准做法有些许不同。
Scrum模式本身的推崇由开发人员自己来规定并设计项目开发点，但是淘宝在实施上发现过于浪费时间了，于是就变成了由产品经理等需求提出人和架构师定出粗略项目，最后在开会前就定好要开发的功能点，只做任务分解

关于开发人员需要完成的上线文档的详述：

其中包括文档信息，RPM包的版本信息，为测试部署的相关文档，包括上线操作、回滚操作的具体步骤
上线手册应该手把手传达给运维人员如何进行操作，目标是做到无须询问开发人员就可以实现项目上线。所以淘宝对项目开发人员的文档水平要求都非常高
这些上线的文档都要进行Review!

对于需求的要求：

最好有最终的文字描述，用文字解释详细，并且有实例。

------

接下来是由豆瓣的工程师石头带来的"从豆瓣Pulse谈起 - HTML5 相关技术在实际项目或产品中的应用"话题

HTML5在视觉，交互等诸多领域，为Web带来了全新的体验

最大的问题：浏览器兼容性 - 应该有意识地去引导用户使用性能更高，功能更多的现代浏览器，

CSS3技术非常的绚丽，很多效果的实现已经完全不需要Flash了。石头在现场针对前端的一些实际应用都分别进行了详尽的举例，详情请见Slide和视频。

Douban Pulse 这个产品中已经使用了一些CSS3的新特性，带来了很好的用户体验。

关于具体的信息，大家可以参考现场石头的Slide以及视频，更形象直观 http://app.beijing-open-party.org/topic/20

------

南极、禅院与现代社会

这是由有着丰富经历的廖大侠带来的精彩话题。我想很多朋友起先和我一样，可能是向往着精彩的景色和见闻来关注这个话题的。事实上最终这个话题带给大家的更多的是对于精神领域更深入的了解。在这个繁忙的社会，我们事实上很难抛开一切，安静地思考自己。而这个话题中带来的一些观点，恰恰从这个方面填补了我们的欠缺。

廖大侠简单谈到他个人的一些经历就已经足够让大家感到钦佩：本科在天文台做论文，研究生时跟随导师做火星研究，是国内专业研究火星的团队成员之一；寺庙进行禅修；曾也想成为一名吉他手；现在在从事数据挖掘相关的工作...... 这履历本身就已经是足够精彩的故事。随后故事进入正题，开始讲述随南极科考队进入南极的故事。

一些关于南极的有趣故事：

夏天是天堂，冬天是地狱
企鹅坐浮冰旅行
南极很干燥，号称比沙漠还要干燥
南极的环境，是和火星最相似的环境
极夜也不是一片黑暗：中午的时候虽然没有太阳，但天还是亮的，就像早晨还未出太阳时一样，而且夜晚的月亮也经常很亮

现场播放了南极实拍的企鹅视频，看到视频里漫山遍野，数不清数目的企鹅，自己感觉非常震撼。因为那种感觉来自于你需要以一个新的角色来看待你自己，在那样的大陆上，人类并不是主宰，相反，只是来到这里努力适应生存的地球的一份子而已。

在南极的严酷环境中，身边的社会结构有着全然不同的转换。一个小小的团队，就是在那里全部的社会构成。因为资源才是真正的稀缺品，钱变得没有任何意义。而小群体中的每个人都有着明确的分工和责任，是团体共同生活发展所不可或缺的一部分。我们从来不是一个社会的旁观者，在一个庞大的社会中可能并不容易清晰地意识到这一点，但是在那样一个小环境中，这种观点和意识变得无比重要。

在这样的社会生活中所感受到的

永远不要抱怨
服务意识、合作精神与专业技能一样重要，有时甚至更重要，一个人足以影响整个团队
谁是最重要的人？生活中身边的人
不要试图去改变不可改变的东西
学会静心很重要
切勿贪多务杂
努力使自己的心达到空虚、明净污染、不扭曲变态的理想状态

OpenParty "荷风清韵"

Wed, 18 Aug 2010 10:00:59 +0800

本次OpenParty "荷风清韵"活动的话题展现出强烈的多元化色彩，涵盖了从软件助力天文学研究、社群活动、读书分享乃至笑来老师带来的时间管理话题，到类似Nginx脚本编程等前沿IT话题，难免让在场的朋友应接不暇。按照惯例将自己现场收听的三个话题做一下简单整理。

量天－软件工程如何助力天文宇宙学研究

由冬清带来的，介绍天文领域软件开发项目的介绍，让在场的各位科学爱好者大开眼界。

冬清所在的公司Gsegment作为地面应用软件开发团队，参与了目前世界上最大的空间望远镜赫歇尔卫星空间项目。在工作中，也认识到现在我国的航天工程力量明显不如欧洲航天局/NASA等组织，所以Gsegment为团队订下了长远的目的和理想：致力于通过工程来促进科学，提高我国工程能力。

Herschel计划是Horizon 2000计划的4个Corner Stone的其中之一，包含卫星在内的整个计划从决策到交付历经10年，观测卫星于09年5月14日发射，可保障使用期3年。如果把成本均摊到使用期，相当于每天开销百万欧元。Herschel天文台是红外亚毫米波天文台，在这个波段可看到宇宙早期的情况，同时由于波长长，在大气内难以观察，才有对应的卫星观测项目。天文台的观测仪器囊括了光学观测、谱分析等多种功能，可以用来在外星球寻找水。软件中重要的部分，HCSS Hershel 通用科学系统，开发历时十年，三百万行代码，20名开发人员使用Java开发而成。天文信息需要大量分析，卫星信号首先进入科学中心，然后通过由科学家编写的系统化产品生成脚本(Pipeline)，最终产生可供分析和研究的数据。

现场还讲解了很多天文学的概念和知识，遗憾的是限于自己的知识水平有限，无法向大家做更完善的讲述了。

同时Gsegment也在招聘技术人员，欢迎有Python或Java编程经验的，想要致力于尖端工程科研方向的朋友请与他们取得联系。

奇遇花园与社群活动：猴子屁股与社群多样性

由奇遇花园的老板詹膑带来的话题，这个话题恰恰不像他自谦的是"广告"，而从社群的概念这个角度入手，给大家讲述了社群理念，并从中建立联系、组织和活动的一些基本原则。

茫茫人海中，每个人都是独一无二的。社群多样性有助于解决社会问题。想对社群研究有深入浅出的理解，詹老师推荐《人类动物园》这本书。为什么会有新社群？旧有的社群在瓦解：班级、单位等，新的社群正在通过崭新的渠道产生，同时由于种种原因，这种讨论在学术范畴所进行的可能逐步减小。而将社群活动的理念推广，并做出有价值的活动，无疑是推动社会进步的一种良好方式。

我个人认为这个话题为在各种社区努力的组织者、参与者从概念上了解社群氛围与活动作出了很大贡献。同时奇遇花园在8月份还迎来了为众多社区提供服务的店庆开放月，这种对社区的贡献值得赞扬，欢迎大家给予更多的关注。

Nginx 脚本编程

由淘宝的 agentzh 大侠带来的Nginx脚本编程话题，由于其角度的新颖和前沿性，成为了本次活动的一个重量级话题。

Agentzh从去年9月开始研究Nginx源码，其中Nginx中高性能的实现也为阅读带来了很多障碍。遇到困难的地方就使用抄写的手法，白天抄写，在晚上一个人冥想。在研究和学习期间得出这样一个结论：Nginx远不是http server，这个软件的野心要远远超过大多数人对它的理解。

冥想和研究的最初结果就是独自开发的Nginx Echo模块，在Nginx的配置文件中实现了echo, sleep, time等功能。目前是为Nginx开发模块的开发者通常都会参考的一个典型范例。（此项目的文档之详细及深入，实在值得绝大多数的中国开源软件开发者学习)

Nginx 的核心代码大约 10W 行，就其来说，已经是很紧凑的规模了，相比之下，Apache的核心代码大约有 30W 行。而Agentzh所在的团队针对Nginx所写的的扩展的规模，都已经有3W行了。

Apache的多线程模型中，每个线程I/O阻塞，使用多线程拼并发。Nginx不支持多线程，而是使用多个进程来对应CPU 核数，从而提升在多核CPU下的性能。

而为Nginx开发子模块时需要注意的关键问题也是实现非阻塞I/O。因为实现高性能的前提，就是在处理的各个流程部分实现I/O非阻塞，如果仅仅是Nginx本身实现了I/O非阻塞，而处理的子模块却无法实现，那么整个性能的优化就变得没有意义了。

前面抛砖引玉的部分结束，接着从echo模块开始，agentzh将自己开发的众多Nginx模块逐个进行了介绍，通过在nginx.conf文件中应用这些模块，实际上就基本构成了单独使用Nginx来进行高效率非阻塞I/O服务器端开发的前提。我在这里也凭借记录将这些模块在这里简单罗列一下，具体的详情和范例可以参见 agentzh 的幻灯片：Slide1, Slide2

if statement的实现 - (ngx_dev_kit, set-misc-nginx-module)模块

array的实现 - (array-var-nginx-module)模块

子请求，一个请求中执行其它请求，可以提高服务器的并发度，提高平均相应时间，但是注意同时也增大了服务器的压力。子请求的具体应用实例：前端通过多个子请求的方式来异步获得处理结果，然后Nginx可以把结果合并并展示（比如合并成为JSON 用于AJAX)。

用C重写的Non-blocking memcached 模块 - (memc-nginx-module)，可以实现在nginx.conf中直接用非阻塞方式操作memcached

用error_page 这个命令来实现等同于程序语言中try/catch的语句

memcached 连接池 - (ngx_http_upsteram_keepalive) 来实现连接池

使用非阻塞方式来访问 MySQL - (drizzle-nginx-module, rds-json-nginx-module)

这里有个问题，就是通常使用的libmysql是I/O阻塞的，如果在这个应用场景中使用这个库则无法发挥Nginx的高效率。在这里使用了Drizzle模块中的driver可以实现非阻塞IO访问mysql, sqlite3

rds-json-nginx-module模块负责将数据库查询的结果以json格式提供输出

使用Nginx来操作memcache及MySQL所带来的一些性能优势：

单机几千QPS常见，千兆网卡跑满！
(个别应用场景) MEMCACHED 不使用连接池 2W QPS，使用后14W QPS
Qunar网站上面的一个Ajax应用案例实测，单机7k-8k QPS
比较Java+Tomcat平台与单纯使用Nginx来实现的相关性能对比 - Java: 50~60 QPS; Nginx: 700~800 QPS

Nginx直接接受表单提交的信息 - (ngx_form_input模块)

Nginx非阻塞直接操作Postgre数据库 - (ng_postgre模块)，得益于libpq API对于非阻塞的实现

srcache模块 - (srcache-nginx-module) 用来对页面和数据结果进行缓存(和前面提到的memc模块有区别，这里的sr表示SubRequest)

在Nginx配置文件中嵌入Lua脚本 - (lua-nginx-module) 很快Nginx的Lua子模块中就可以使用非阻塞IO的方式来调用Nginx的子请求了

现场讲述的一个Nginx-Lua应用实例：单纯用Nginx来实现数据库集群中用户Hash的计算

所提到的应用方式已经在淘宝量子统计以及Qunar中实际应用。

(Jul 10, 2010 更新：细节修改，感谢 agentzh 及 vipcalio 的指正)

本次活动在技术上涉及的方面很多，限于个人知识水平的限制，记录如在某些方面有什么偏差和不足，欢迎大家指正。想要了解活动详情以及本次活动其它话题的朋友，可以在此查看"荷风清韵"活动的所有话题情况。同时也请关注OpenParty网站对于此次活动的总结。

柬埔寨背包记九：旅途的终章

Mon, 05 Jul 2010 00:20:01 +0800

这么多天以来，首次早上没有什么计划，舒舒服服地起床，背上行囊，悠闲地在马德望城中散步。先找了一家当地的网吧来整理自己几近存满的存储卡。网吧的环境不错，价格和国内差不多，而毫无墙的顾虑则让我感叹不已。

继续在路上步行，在路过的小路边摊上吃了碗牛肉米线，又在一个亮丽的快餐店吃汉堡套餐、读在暹粒买到的《摩托日记》。阴沉沉的，雨下了好几次。尝试走了下大路旁泥泞的小路，结果走了几十米，发现鞋底上沾了几寸厚的泥，脚已经抬不动了...... 下午天气转好，欣赏遍布于马德望各个路口的佛像雕塑。

第二天早上乘大巴返回金边，五个小时的路程中，天气变幻莫测，在倾盆大雨和阳光明媚间切换了好几次。途中还可以远眺到西南方的豆蔻山脉。车上则放着山寨到极点的柬式MV，以及高棉语版本的周星驰电影。

几近下午时分回到金边，费尽周折挑选了一家看起来还不错的GuestHouse，虽然比之前的住处略贵一点，但环境确实不错。收拾好行装后又开始了在金边的步行。

这次首先是前往之前没有去过的中央市场逛逛。这栋巨大的建筑被包围在数百个摊位之间，市场规模之大，很是壮观。进入中央市场的主体建筑，发现里面全部都是钟表摊位，营业员均是一口标准普通话："老板，来挑几块瑞士名表......" 我就只好头也不回地出去了。

在周边的摊位给家人带几样小东西，在一位大娘的食摊前吃了一碗类似意面的小吃，跟大娘打听摊位，说了半天英语，大娘摇头表示听不懂。后来说价格时打了个手势双方赫然明白大家都是华人。大娘笑着说："你说国语就好的啦，说国语我们都听的懂的！"

随后步行到了之前没来得及看的Wat Phnom，不过这座小山上的寺庙并没有什么特别的，先前遇到的司机说的也没错，这里聚集的闲散小青年还真是不少。

接着就是漫无目的地在市区里面逛，新奇地看着一个个路过的建筑：日本学校、潮州会馆...... 享受着在这个异国都市最后一晚的时光。晚上在一家NGO开办的公益商店呆了许久，了解到很多相关信息。感兴趣的朋友可以参见Aw'-Kun SHOP+HELP @ Phnom Penh, Cambodia这篇文章。

第二天早上，坐在街边的早点摊上，望着蓝蓝的天空下太阳逐渐把国家博物馆的砖墙映得越来越红，丝毫感觉不到长久旅程的疲惫，却是由衷地对这个自己已经熟识了的国度，有着一种深深的恋恋不舍。我只是一个抱着简单的念头来游玩的旅人，但这趟旅途带给我的，却远远超出了我的期望。旅途中的美丽、艰难，那些震撼与遗憾，已经在心中融成了一整幅精彩的画面，而这幅画之美，我将享用终生。

完

感谢各位读者长久以来的支持

要查看本系列更多文章，欢迎点击页面右侧的Cambodia标签。本系列文章可能会省略一些旅行中的细节内容，如果您也打算出游，并还想了解更多详细信息的话，欢迎在网站页面留言，我会很高兴帮助您。

OpenParty "柳燕隙阳"

Mon, 31 May 2010 09:57:12 +0800

"柳燕隙阳"活动再度发挥去年小"QCon"的传统，请来了豆瓣的洪强宁大侠为大家讲解 Python于Web 2.0网站的应用 这个Python布道型话题。同时依旧云集了诸如：开源软件定制开发中的软件工程、持续集成最后一公里、Go语言介绍、多乐趣介绍、另一种旅行的可能----我的公益生活索引等等诸多精彩话题。简要记述下自己参与的两个话题： Python 在Web 2.0网站的应用 以及 另一种旅行的可能----我的公益生活索引 简要的记录和理解。

Python 在Web 2.0网站的应用

洪大侠有些遗憾在QCon上面由于时间的限制没能将后面Python实际应用部分的例子讲解透彻。所以这次略微简化了些前面的介绍部分，直接引入那些讲述了Python语言最优秀部分的特性是如何在实战中得到应用的。不过需要注意的是，如果是对于这些特性没有简单了解的Python初学者，欣赏这部分的乐趣依然存在但是可能会降低。而鉴于洪教授的Slides上，这部分没有什么详尽的文字说明，所以自己的记录旨在能够帮助大家作为学习Slides部分的一些简单提示。欢迎大家与Slides 一起来配合学习。

Python的介绍

目标：提高开发效率，降低开发成本
代码比例：Slides中给出的比例描述的是豆瓣所有项目中的比例，如果只计算网站前端部分的话，那么Python的比例大概有70%多。

为什么使用Python?

简单易学、开发迅速、易于协作。着重说了第三点"易于协作"。因为如果单独就开发效率来讲Perl的效率也很高，但是Python语言的特性可以避免强烈的个人风格，从而更适合团队开发。
部署方便：三条语句完成上线功能
适用面广：前台后台各种应用
资源丰富：内置电池，应有尽有的库可以选择

概述一下讲解的Python的一些优点以及相应的库或工具

简单的Web开发代码展示－ Douban后台的WebService都是用Web.py开发的
使用更新颖的Flask框架，代码写起来甚至比Web.py更简单
Python开发Web简单得益于WSGI，该标准将一个请求分解为不同的中间件来进行处理。当然造成Python Web Framework 众多的原因也是因为这个。
nose - 使单元测试变得简单
numpy －用于数据分析
iPython －好用的命令界面扩展，幻灯中演示了直接在iPython中通过数据来绘图
virtualenv －方便部署和建立一个干净的Python环境
Python的速度不快，基本和Perl一个量级－用C扩展：Douban用的多的是PyRex/Cython，用类似于Python的语法去写C的扩展
哲学上和其他语言的差异：做一件事情只有一种方法(Py) vs 做一件事情可以有多种方法(Perl)
Pythonic －http://bit.ly/pyzencn

利用Python的语言特性简化开发

案例零：本机和线上配置的不同，如何方便解决

使用.py文件作为配置文件，在使用时将该文件 import 进入程序。

案例一：网站页面权限控制的 Pythonic解决方案

使用Decorator把权限处理的代码部分抽象出来
Decorator和四人帮中的描述的装饰器模式并不完全对等
Py中的函数可以当作对象使用
使用__call__来简化代码

案例二：从队列中提取信息调用相应的函数

原始的代码设计需要在代码中放入大段的If.Else来进行处理
被装饰的函数，先换个名字
将函数序列化后存入队列中，Work通过名称找到相应的模块和函数执行
现场观众提出的问题是，在get_attr这部分的性能损耗如何？答：可以忽略，Python内部有对这方面的考虑
在生产环境中，豆瓣使用RabbitMQ作为队列系统

案例三：Memcache

用的是Python-libmemcached (由豆瓣开源的），在这个页面 http://code.google.com/p/memcached/wiki/Clients#Python 可以查到不同库的比较。
变化的key使用decorator如何处理？
传进去一个可以解释的表达式
使用inspect.getargspec
get_key 这个返回值，是一个函数，产生memcache的key时使用的
hint 中说的是生成KEY的方式：如果你有更好的方式，欢迎发给Douban，这个会为应聘豆瓣加很多分值

案例四：使用迭代器减少不必要的性能开销

iterator和generator
itertools 供迭代器所使用的库
通过迭代器来减少遍历时数据库访问产生的性能开销
imerge把一组迭代器按照顺序进行排序（不在标准库中）
generator是简化代码的利器

案例五：序列化操作时间优化，元类操作

简单对象，需要处理的量太大（豆瓣的收藏对象）反序列化的速度太慢，造成瓶颈
CPickle vs Marshal 性能对比，Marshal的性能大约提升7倍，同时空间还有43%的节省
Marshal只能处理内部类型，怎么才能使用其来处理Python中的自定义对象呢？
从Python 2.6中增加的namedtuple得到启发，使用类似的方法来完成这个工作
首先要明确Python中类的观念，类也是从元类派生出来的
使用元类，在实例化这个类的过程中进行一个序列化该对象信息的操作，而这部分可以很方便地被Marshal所使用
需要注意的是：Meta操作如果处理不当，容易被滥用，从而导致很多可维护性上的问题。推荐只将其用于框架类的实现上，而避免在应用层运用此类实现。

案例六：Descriptor的简单讲解

使用Descriptor
将对应变量名称作为类中的属性

案例七：让urllib库实现通过代理翻墙

使用 Monkey Patch 方法来解决这个问题

Python的一些实现：

Stackless Python：微线程，类似Erlang，高效并行
IronPython, PyPy：据说效率都已经超过CPython 了

Q&A环节：

关于框架的选择问题：历史原因，如果现在从头开发新的网站，使用现代化框架
变量命名规范：遵守 PEP8 规范，尽管不是必须
BeansDB应用于：图片、MP3、大文本字段

"寻找失落的螺丝钉"

由自然之友的张文桦带来的，讲述了她多年以来参与公益项目及活动的一些经历，让人受益匪浅。

无意中踏入公益，听说有学姐在做黑熊保护这类的公益工作，很是羡慕。于是她自己的第一份工作，就是从NGO开始的。

讲解了"生态工作假期"这种独特的旅游类型。这种活动形式旨在让出门旅游的游客利用假期中的一部分时间，作为志愿者参与到当地社区的一些生态计划当中。当然，整个计划也为旅行者进行了比较周全的计划：选取风景优美的地点，毕竟前来的游客的首要目的还是旅游，为旅游者为游客创造优美、适宜的环境，还是必须的。

这种活动形式在台湾已经有了一定的规模，在当地社区的参与下，选取符合上述条件的，需要劳力（志愿者的投入）的项目来开展此项计划。

参与完成了：

台湾阳明山外来种清除计划
花莲南华街区旧烟楼修复

不过生态工作假期这种形成花费较高，适合中产阶层。尽管这种旅游公益的形式在自己身边还处于闻所未闻的状态，但是看看台湾相关组织和民众能够达到的高度，无疑能够给我们更多启示。

另一种方式是参与"静会"这种项目，通常是处于某种目的的公益项目（如宣扬和保存原住民文化），需要来访者用专业知识进行相关的项目工作。但是此项目无须收取费用，适合囊中羞涩的公益旅行爱好者。

当时文桦参与的是原住民文化馆：原住民做的文化小铺项目。有很多这样的项目是由台湾的一些有心做此项事业的中产阶层推动的。志愿参与者们问一个NGO的活动主办者："你们做这个事情有意义吗？" 对方的回答是："这个问题被无数人问了八年，具体的答案我们不清楚，只不过，八年以后的现在，我们还在做这件事。" 我想这才是意义所在。

文桦后来又讲述了在美国的圣路易社区参与的服务计划。

计划开始的前三天，组织者给大家时间来融入和了解社区：第一天学习使用$1来买一件东西，旨在通过买东西这个活动与当地人产生更多的交流和理解。第二天在当地人家吃午饭，了解到当地人居住的房子也都是先前志愿者计划帮助的。

第三天开始正式的工作：在工厂搬废钢铁和废家具。由于工作内容实际上是需要相当强健的体格才能完成的体力工作，文桦因为各种原因不能做到和其他人一样好而沮丧。而这时团队中一个瘦小的女孩Sarsh讲述了她在宏都拉斯进行志愿工作中类似的经历，身体并不强健的她要去铲土，从而心里对自己产生了怀疑：如果不能胜任这份工作，那么自己为什么要付出那么多的辛苦来做呢？自己继续做下去还有什么意义呢？后来自己想通了："为当地人提供更多是心理上的支持，让当地人感觉有其它人关心和参与"。至于自己可以做多少工作，不要勉强，因为会有其它志愿者来帮忙完成。我认为这也是我们参与许多志愿类工作的时候，所应该享有的一种心态。

当地因为就业率低，当地人在开始时不理解这样一个志愿工作的组织。但后来了解了情况，看到情景以后就有了很大的变化，也都积极热心地投入到社区的建设中来。

以上是我根据当时记录下的零散笔记所整理的，文桦自己有一篇更详细的文章记录了在圣路易的经历，欢迎大家查看：http://whitewoods.blog.sohu.com/151525631.html

最后讲到参与望安岛上面的生态旅游计划，整个计划是社会企业类型。由志愿者们推动的生态旅游计划，试图为岛上的生态建设及环境保护提供帮助。文桦最后展示给大家的照片，无疑为人们投入生态项目而努力的原因做了最好的概括：自然可以包容一切，人们将废旧的玻璃瓶作为垃圾丢在海里，而大海返还给我们的，却是冲刷得光滑完整，无比美丽的玻璃片。

自己能够记录和参与的活动必然有限，想要了解活动详情的朋友，可以在此查看"柳燕隙阳"活动的所有话题情况。同时也请关注OpenParty网站对于此次活动的总结。

本期活动筹备，进行的同时，由OpenParty Developer开发团队发起的OpenParty新网站项目也正式开始了线上运转。这个项目设计的初衷是将OpenParty活动中一些必要的部分都放在网站上来进行（如话题提交、活动报名等），目前虽然已经上线运行，但是还处于非常初期的阶段，未来我们还会进一步把一些计划和设想融入其中，欢迎大家提出宝贵意见。本项目为遵循GPLv3协议的开源软件，项目位于 http://code.google.com/p/openparty，欢迎大家关注，并且我们非常期待有时间、有兴趣的朋友能够参与到 OpenParty 开发者的团队当中来，感兴趣的朋友，可以发送邮件到 dev [at] beijing-open-party.org 与我们联系。

柬埔寨背包记八：竹车及马德望之旅

Sun, 09 May 2010 22:04:25 +0800

早晨起床，先去离住处非常近的马德望中心市场吃早饭。柬埔寨人的早餐种类很多：(在金边吃过的)高棉三明治、各种米线、高棉炒面以及一种煎饼。再次吃了我非常喜欢的高棉炒面。有个摩托司机和我搭话，简单聊了聊当地的风土人情，很有收获。我喜欢淳朴得多的马德望，和你搭讪的司机也都少了那么多的商业味。还尝了尝他点的当地早餐----大煎饼，吃起来感觉挺亲切。中央市场的食品摊在早上热闹非凡，各种各样的人都在这里悠闲地吃着早餐。摩托司机、警察和形形色色的不知道做什么却也不急着上班的人们。早餐甚至还有大扎的冰咖啡。

九点和先前约定好的TukTuk司机汇合，起程去坐马德望的招牌旅游特色----竹车。一路上经过昨天开庙会的地方，现场一片狼藉。不远处的大卡车上放着一艘长长的龙舟，而坐在卡车上的二三十人则高声地喊号唱歌，司机告诉我说这是昨天龙舟赛的胜利队伍，他们会这么又喊又唱地一路赶回家乡。

TukTuk开出几个路口就进入了小乡村，看似悠闲的乡村小路却并不平静。不一会儿就看到了正在建设的跨河大桥。而旁边进行的是道路的扩建工程。司机和我说，来自中国和日本的公司们正在争先恐后地投入到这样的项目中。正说着，一棵高大的棕榈树应声而倒，紧接着工人们一阵沸腾，听司机说，树倒以后工人们发现了一只猴子，他们正抢着捉住猴子去卖钱。

然后就到了一个小村子前面。竹车当地人称为"Norry"，马德望的竹车已经是当地的一个旅游品牌，竹车游览也已经是一个非常成熟的产业。乘竹车往返一趟要价 $10，因为自己是一个人，和老板划了下价格，以$8成交。然后就在两名小伙子的带领下，开启竹车之旅。那么什么是竹车呢？简单地说，就是两个火车的轮子，一个柴油机，和供人去坐的一块竹板在铁轨上面跑。原以为速度不会太快，可实际坐上去，也会开到大约几十公里的时速。坐在那块木板上，感觉着每一个铁轨接点的颠簸，很是特别。不过铁轨只有一条，有时会有反方向的车开过来，这也是为什么安排两个小伙子在车上的原因：一个人驾车，另一个人站在车上远眺，远远地看到有迎面驶来的车，就逐渐减速，直到两个车面对面停下。随后有一个不成文的规矩：乘客较少的车上的人下车，将车解体（拿下发动机、拿下传动皮带、拿下木板，拿下轮子），让乘客较多的车先通过。这一路上停了两三次，因为这条竹车线路不只是为了游客游览，也有不少村民乘坐竹车在两地之间往返。

颠簸了二十分钟左右，到达一处小村子。下车走了两步，就被一个中年妇女带领到一个砖窑，开始非常详细地介绍烧制的流程，从模具到过程到最终的成品，带着我这儿看看那儿看看，我心想这下是"被"一条龙服务了。果然，讲解完后要收费$1。不过现在回想起来，那里的民众还算比较纯朴，收费不高（请对比国内旅游景点）。参观完之后坐车返回。结束了竹车之旅。不过此时时候尚早，还不到中午，于是和TukTuk司机商量了一下，再去马德望附近的一座早期吴哥寺庙 Wat Ek Phnom 参观一下。

于是小TukTuk又开始了旅途，重新开进马德望市区并一路向北，开进另外的小山村。太阳挂在正中，景色出奇地好。路上还见到了近百人聚餐的盛景，我以为是当地的婚宴，司机和我说这是村子的一年一度的（中秋）节日聚餐。路上还经过了一间1975年就已经停产的百事可乐工厂，进去简单参观了以下这个独特的地方。

TukTuk又前进了近半小时，就来到了在一座小山顶上的Wat Ek Phnom寺，由一位旅游警察收取门票（$2），这是个前吴哥时期的遗迹，所以现在看来就是个保存得并不太完整的庙宇。但这地方仍是当地宗教活动的中心。古庙的前面就是近年建起的佛教大殿，而旁边座落着一尊新建的大佛。终于，这是个再没有其它游客的地方（我只见到一对当地的年轻情侣），景点没有什么特别，却有着那种迷人的幽静感觉。

随后返回住处休息片刻，下午出来步行逛马德望市区。市区在我看来真是小得可怜，走出几个街区，再一家学校旁的小餐馆吃了非常美式的午餐(5000R=1.25$)，随后步行前往附近的马德望博物馆。走进博物馆，发现大门开了但是展厅却没开，想来是自己早早就到了。当时就去问院子里坐在摩托上的一位大叔，不料该大叔完全不懂英语。大叔看起来有些为难，好像和我说了什么，然后就跳上摩托车走了。我不得其解，就坐在那个安静的院子里继续享受马德望的中午。不一会儿大叔就载着一位姑娘来开门。这下我有点儿不好意思了（似乎提前了别人的工作时间）。博物馆里面没有金边的国家博物馆漂亮，也没有亮丽的展品，大量的残破雕像都被随意地丢在地上。

而后又走过几个街区去看荒废已久的马德望火车站，与博物馆只相隔了几个路口。火车站这片地区也是一片乡村景色，废弃的车站，蓝天、绿草，是马德望的著名景色。

随意逛，走到一个车站附近，惊喜地发现有便于观赏风景的双层城际巴士，就订了后天开往金边的车票。于是，大多数的事情都已完备。连续几天的忙碌后，马德望这个有着独特风格的幽静城市，让我决定在这里好好休息，消磨些时光。

傍晚买了足够的食品和饮品回到住处，津津有味地看各种电影频道。晚上找了个当地人吃饭的盖饭摊吃了一顿。刹那间，有了一种自己已在当地生活了许久的感觉。

未完待续

柬埔寨背包记七：洞里萨湖及假日的马德望

Tue, 27 Apr 2010 00:23:02 +0800

我于09年9月27日－10月8日在柬埔寨独自背包旅行，其间的经历和收获数不胜数。相关的经历我曾在09年10月底在 Beijing Open Party 上有过一次交流分享，现在把旅行途中以及后来的一些记录陆续发布到这里，请感兴趣的朋友关注这里的更新。除正文中的照片以外，还可以在我的Footbig以及我的豆瓣相册中欣赏因篇幅原因未能在文章中出现的照片。上一次交流分享的slides可以在我的slideshare页面看到。

皮卡在满是大水的暹粒城区的几个GH间穿梭，接起各个一同前往马德望的旅客。渐渐地车上就热闹起来。一对来自悉尼的老年游客，谈起他们四处旅行的经历，他们在八十年代初就到过中国，家里还珍藏着一套那个年代买的蓝色工装。同车还有两个在中国工作的意大利人以及几个美国女孩，很快皮卡上就满员了。

太阳慢慢升起，虽然吹着的风似乎比电影里看到的风要猛烈地多，但这感觉却让人有无数憧憬，在异乡的美丽景色间流连，感觉非常舒服。因为很多路被水淹没而不得不绕路而行，车开了一个多小时才到码头。刚一到码头就有一群卖面包和水的小贩湊了上来（价格比正常市价略贵）。码头停着两条船，大一点儿的船开往金边，而开往马德望的小船，看起来略为可怜，十来排木制座椅、一个可以爬上去的船顶，没有什么特别的了。游客上船以后，船上倒显得空荡荡的。就这样，伴随着巨大的发动机轰鸣声，小船启航了。

洞里萨湖是东南亚地区最大的内陆湖，坐在船上向湖中心方向看过去，与远望海面的感觉差不多，只是浪要小一些。初升的太阳使得这水上的风景慢慢地显出了它美丽的一面。

随后路过了一个水上村庄，小孩子都在尖叫着冲着游船招手。小村庄有着像陆地上一样的寺庙、餐馆和小商店，只是代步工具变成了船。我们乘坐的船放缓了一些速度，伴随着村庄里的几声喇叭声，有小船载着乘客向我们这艘船驶来。原来是沿途村庄前往马德望的民众。上来的人有老有少，渐渐的船上就热闹起来了。

船继续前行，河道一会儿变宽一会儿变窄。自己还用指南针反复查看以找出在地图上确切的路线，后来发现这航道实在是太绕了，地图上也只是标出了较宽的航道而已。渐渐地，船舱里的外国游客都走出船舱，爬到船顶上去了。

我起先只是好奇，不知船顶有什么好玩的可以吸引那么多人上去。直到自己也小心翼翼地爬上船顶，端坐在一角时才发现，原来整个旅途观看风景的核心就在这里。通常看到的湛蓝色的天空、壮丽的云朵，突然在眼前变成了数百公里绵延不断的景色，没有高楼和任何建筑物的打扰，只有这样美丽的天空，映着同样美丽的广阔湖面，以及点缀期间的碧绿色植物。坐在湖中行驶的船上，高温酷热突然也变得不再是任何问题，太阳逐渐升高，变得很晒。但自己宁可把大把的防晒霜抹上，也不愿回到船舱里面----任何事物也不能阻挡自己与大自然如此接触。不过坐在船舱上面在过狭窄河道的时候，要注意沿途植物带刺的枝杈，一不小心，就会被划伤，注意闪避。

接近中午的时候，在一家小饭馆停船休息，简单地吃了个盖饭（$1），小屋里面的装饰倒是无比吸引我。

继续出发，沿途又路过了四五个村子。沿途只要见到小孩子就一定是在猛烈地挥着手，大声地打招呼。偶尔能见到从马德望方向开过来的船，以及满载着柬埔寨人（真的是满载）的客船。大家看到的都是一张张此起彼伏的笑脸，卖力地挥手，以及'hello~'的的喊声，美丽、亲切、又温暖。河道越来越曲折，有越来越多的乘客开始在各个村庄下船，又行驶了约二十分钟，远处的河岸突然出现了一大片的人，随后船停在了长约5米的一个小码头上。马德望到了。

看看表，13点整，距离上午8点开船正好5小时。挑了一个TukTuk司机，联系找个住宿的地方，先去了一家有名的店，结果连空调房都没有。不过司机推荐的第二个店却非常不错，除了没有名气，但其它设施齐全。与司机约好明天上午去乘竹车。

打开电视，看到的景象赫然发现在河边看到的一样。原来，这天是端午节，马德望在举行全国一年一度的龙舟大赛。赶紧拿起相机出门，前往河边。原来这里根本不只有龙舟，河边的街道摆满了摊位，还有交通管制，一派过年庙会的胜景。两旁的摊位卖着各种各样的东西。从类似'动感地带'的手机号、洗衣粉、各种服饰、大头贴、各种食品、抽奖游戏，乃至搭建起的简易旋转木马、摩天轮，应有尽有。

相信我自己也成了这来来往往景色中的一部分。和暹粒的热闹喧嚣不同的是，在这个热闹的庙会氛围中，我几乎没发现其他游客。所以在来来往往的当地居民眼中，我这个满头大汗、背着相机的中国小伙，也算是个景色了。东瞧瞧西看看，眼睛根本不够用，尝试了一杯颇受欢迎的甘蔗汁，继续沿着河边探索。

河边的建筑果然保留着法国殖民期间的特色，城市里的寺庙也很多，LP里说是由于红色高棉时期一位不服从命令的指挥官才得以保存下来的。几乎每个寺庙的外面都有僧人在为寺庙修缮筹款。走到城南边一个LP上面推荐的便宜小饭馆吃了顿Pizza，期间一个学生模样的男孩和我用中文搭话。原来他的上一辈和上上辈都是潮州人，从他那里还得到很多情况。这里华人很多，而且在当地经济中占据了十分重要的地位。没想到能在这里和他人用母语交谈，感觉不错。晚上漫步河边走回旅店。河上的一艘小船还放出了小小的焰火作为庆祝。

忙了这些天，回去就早早休息了，准备明早体验马德望的特色风情：竹车。

未完待续

要查看本系列更多文章，欢迎点击页面右侧的Cambodia标签。本系列文章可能会省略一些旅行中的细节内容，如果您也打算出游，并还想了解更多详细信息的话，欢迎在网站页面留言，我会很高兴帮助您。

OpenParty "熙春暖意"

Wed, 31 Mar 2010 23:24:32 +0800

"熙春暖意"是农历新年后的第一期OpenParty活动。当天北京的天气虽不像活动的标题一样美丽----迎接我们的是一个寒意依旧，沙尘满天的日子，不过这不能阻挡众多热爱分享和交流的朋友的脚步。此次活动话题众多，还有一位前辈史无前例地贡献了一连三场话题，实在佩服。参与人数再度达到百人，现场到处都可以看到三两一组对技术/文化/其它各种各样话题进行交流的人，气场还是那么足。

还是简要叙述下自己参与的三个话题：

UI/UE设计讨论

这个是个现场讨论的话题，在话题组织者的带领下，大家针对UI/UE设计领域的问题各抒己见，自己在不少方面也有了更新的了解。限于讨论性话题的分散性，在这里仅简单记录下印象比较深刻的观点。

话题组织者引导大家做了这样一个用户体验试验：请一位用户扮作盲人，另一位用户帮助他读出鼠标所指处的文字来引导'盲人'用户完成某一个特定的任务。在这个看似简单的实验里，却能发现很多平常难以窥见的细节，如屏幕阅读会读出很多不需要的东西，从而给用户造成困惑等。事实上这个实验也是行业中的实际案例，在国外的某个网站项目中，有盲人用户致电客服，提出了很多实用性上的问题。其实不只是针对盲人，一个文字冗余、不直观、不对用户友好的界面设计，也是用户体验产品的直接障碍。
抓住用户目标性和随意性浏览的特点，达到用户和网站需求的平衡

通过调查、用户测试、观察、客观反馈、访问数据等方式进行用户的研究，"提升正面反馈，消除负面反馈"。

用户体验的度量。

现场参与的朋友也谈到了很多：

新版本上线前实施AB测试，引导 10％的用户到新版本设计。查看用户是否"尖叫"（即对新设计有尖锐的抵触），如果存在尖叫状况，新设计下线->进入Rollback设计流程。

谈到现今互联网领域的UI/UE问题，除了一些设计以及体验上的问题以外，还有一位朋友提出了"网站的服务意识差，用户的被服务意识也很差，如果更好地沟通以及交流反馈，在有些时候也是问题。用户积极参与的意识很重要。"

--------

把街机搬回家

由 @gokeeper 带来的，当天让无数技术男燃起的话题。讲述了如何把原汁原味的街机搬回家，要注意：使用的不是寻常的模拟器、PC摇杆，而是真正的街机硬件、街机框体和摇杆，当然还包括投入代币这种可勾起无数人美好回忆的体验。

其实如果想照葫芦画瓢实现一个也不是什么大问题，gokeeper的解决方案也说明了，山寨产品＋淘宝＋用心实现的激情基本上可以解决全部的问题。

自己简单记录下来的几个要点，供大家参阅：

街机主板的游戏卡槽上，连接一款通过电脑来提供游戏的转接卡，价格不贵。
山寨厂街机框体可定制，价格 1200 元左右，包括框体、29寸CRT、定制的摇杆和按钮。注意相较之下日本原厂的使用近十年的框体还要万余元，山寨厂的街机框体，价格便宜量又足。
电视的扫描频率问题。显卡默认输出的刷新率过高，需通过更换驱动等特殊方式，降到15KHz左右
淘宝上订购的精巧的投币装置 40元
整套设备还具备传统街机难以想象的扩展能力，可以通过KAI与网上的玩家进行对战，还可以与Xbox 360进行连接，在庞大的街机框体上执行家用机游戏。

--------

网页正文提取初步

宋进亮博士带来的话题，整个话题其实也是自然语言识别领域的一小部分内容，不过宋博士的开场就先声明："整个应用不限定特定行业，演讲中不用忽悠人的词"，于是整个话题也就在轻松的环境下讲述了众多非常有料的内容。

现场演示的实例：从Blog以及网站页面里面抓取正文

大体上看，目前的文字抓取方式，无外乎以下三种方法：

通过正则表达式抓取：通过诸如 BeautifulSoup 这样的工具进行。

方法简单，但是性能可能会有问题。与所抓取的目标网页依赖过大，一旦网页格式发生变动，就需要对抓取的方式进行一些更新。出于偷懒的原则，如果程序能够自动识别变化，那样才比较完美。

标签特征，本话题所述方法即属于此类别
基于视觉的处理，跨越标签领域，有一些的技术门槛，此话题暂不涉及。

（在2009年2月的OpenParty"有狐"活动中，有位来自雅虎中国的朋友分享了一篇在服务器端使用Firefox进行网页抓取和内容识别工作的话题，实际上就是基于视觉的处理实现）

基于文本密度算法的实现，是上述的标签特征类别的方法。

基本公式：纯文本字符数/HTML源码字符数

原始方法

记录HTML标签起始位置
统计HTML源码首尾包括的字符数和其中的文本字符数

使用Python的matplotlib对统计的结果进行图示查看，从直方图中直观地可以发现，网页中有一部分的文本密度明显高于其它部分。在整个过程中还可以使用Tidy软件包来清理HTML代码，实例中演示的Sina页面，使用Tidy进行清理后进行识别的效果要好很多。

从实际状况出发，对算法进行小调整：从以前的文本前后判断，变成标签前后判断

优点：数据的整体性更好。

缺点：数据的分布情况不够直观，有干扰。可以适当地加入一些值的过滤方式来实现

整个实现方法所使用的代码量：加入注释以及模式过滤的原脚本大约有200多行Python代码，如果是根据网上论文的原始实现，大约100多行Python代码

所参考的论文中描述的人工智能文本识别方法：

使用神经网络模型

可使用FANN库，有相应的Python封装

采用原始的一刀切方式，会有丢行的现象产生。
个别行的密度会比较小。

神经网络模型的算法，可以采用机器进行学习的方式进行。不过要注意，学习所采用的原料和实际使用中所针对的目标相似度的关系也很重要。学习的量较少，可能会达不到完成任务所需的精度；而学习量过大，出现"过学习"的状况，也可能会出现过度吻合，从而导致对目标数据的变化非常敏感。

其它智能方法

针对HTML标签序列

统计方法
贝叶斯
马尔可夫
CRF

不过为了达成我们的目标，找到最窍门的地方，才是最关键的。比如在很多应用场合下，看似粗旷的'一刀切'方法可能效果也非常不错。

这里介绍的自然语言识别只是一个具体的分支应用，而这个大领域还包括很多其他的内容，如逐渐变热的分词技术，也是值得关注的。

总的来说，自然语言识别技术需要根据应用领域、应用环境来提供相应的解决方案。没有银弹！

我一知半解的记录肯定略有偏差，想要详细了解此内容的朋友（如查阅上文提到的论文等内容），欢迎访问宋博士"提取HTML文档正文"的页面以及他的Blog访问详情。

------

依旧分身乏术，本期活动还有很多其它大牛带来的精彩话题，只好期待其它参与朋友的记录了。现在每次在活动现场的事情越来越丰富：与各方朋友交流信息、控制话题时间安排、拍照、结识新朋友...... 诸多事情精力有限，再加上 OpenParty 的话题越来越多元化，自己对各个话题基于简单了解的记录，难免粗浅以至问题多多，还望大家多多包涵（了解细节请多参考来自演讲者的第一手资料）。我只希望自己这些简单的记录是引导大家进入某个话题或领域的一小步，就好像 OpenParty 帮助大家结识、了解和交流一样，我们没有奢望这种简单的事情能够立即带来什么翻天覆地的变化，但是这些却打开了无数的门，孕育了无数种可能。这就是最让我们兴奋的事情。

柬埔寨背包记六：奔密列及大水中的暹粒

Fri, 19 Feb 2010 18:28:37 +0800

我于2009年9月27日－10月8日在柬埔寨独自背包旅行，其间的经历和收获数不胜数。相关的经历我曾在 Beijing Open Party上有过一次交流分享，现在把旅行途中以及后来的一些记录陆续发布到这里，请感兴趣的朋友关注这里的更新。要查看本系列更多文章，欢迎点击页面右侧的Cambodia标签。除正文中的照片以外，还可以在我的豆瓣相册中欣赏因篇幅原因未能在文章中出现的照片。上一次交流分享的slide可以在我的slideshare页面看到。

早起，驱车前往暹粒东北四十公里的古迹--奔密列。前往奔密列的路程，比昨天前往高布思滨还要遥远。一路上自然景色绚丽，不过最好用在柬埔寨买到的头巾裹住脸，因为TukTuk开出几十公里的路程，还是比较辛苦的体验。近两个小时后到达收费站，奔密列不属于吴哥景区，所有需要单独买票，5美元。

跟随人群进入奔密列（景区人流不少），首先见到的就是崩塌的大门。从右侧坍塌的石墙进入这座被丛里掩盖近千年的古老城池。虽然整个坍塌的结构让游览的道路十分曲折，但由于电影《虎兄虎弟》的拍摄而建起的，中心的木栏通道还是给游客增添了非常多的方便。从中心穿过黑暗的长廊，参观了一座完整的藏书阁后，沿外围慢慢走出。其间看到很多景象：旅游警察赶跑了一众在景区乞讨的小孩子、火红色的小蜻蜓、硕大的蜗牛。奔密列的地雷问题在06年被德国的团队解决，门口的两块牌子清楚地写出了当时的扫雷情况。

接着上车返回。路上经过一小镇，路边一堆堆的摊位出售的大、小竹筒引起了我的兴趣。小司机问我要不要尝尝？原来是吃的（掏钱买下几个，很便宜）可是要怎么吃呢？卖东西的小孩好心帮我把它剥开，原来是粽子。只不过我们的版本是包竹叶，而这里是包竹筒的。不过这竹筒版本的是在是太不方便了，不方便携带而且也太难剥了，后来有一个大竹筒自己怎么也没法剥开，只好扔掉......

路上的景色是一大亮点，继续着昨天的美。天然的热带美景，各种样子的民居。天气也会忽变，回来就遇到了两次大暴雨。躲雨时还拍到了一堆小孩子（不知是不是一家人）。后来还出现以道路分割开，北方一片乌云，南方一片晴朗的天气。

后到达罗洛寺景区，开始参观。不过问题来了，我原先以为罗洛寺也像奔密列一样单独收费。但不想这里是属于吴哥景区的。但我的门票已经过期，附近也没有售票处，补票都不可能。只在外围拍了两张照就被管理员轰走了（没有门票闯入吴哥景区会被重罚），只好遗憾地走了。

回到旅店，稍加休息，开始步行暹粒。

我住的河东岸附近的大水已经没有前两天那么厉害。街上的小摊十分有趣，除了传统的炸蜘蛛摊位以外，我还发现了包书皮的小摊。继续向南走，慢慢地就进入了洪水区。大街上都是一片汪洋。由于自己的脚已经擦好了药，而且也穿了旅游鞋，随意就绕道前往酒吧街方向。结果还是没有走到酒吧街，因为向南完全就是水路了，干脆就在夜市（后来才见到这名字）逛，发现东西不错，环境也不错，一点儿都不亚于酒吧街边上的老市场，还更有本地的风情，就在这里买了Tee和一些小礼品。晚饭在街边的小摊吃了高棉炒面，木鱼似的面加上完全不辣的番茄辣酱，非常好吃。饮料也十分便宜。坐在街边享受着这一切，看着异国人的生活，回想这三天来的壮丽体验，心中无比满足。

突然停电了，这倒没影响什么，不过出了个小问题就是小司机没接到我更改集合地点（原定酒吧街）的电话，只好去酒吧街。不巧还坐了个黑车。又在已经非常像威尼斯的酒吧街等了半天小司机，随后返回旅店。

回来紧张地收拾东西，结账（老板打了很好的折扣，我很感谢）和小司机告别，去超市买了本切格瓦拉的摩托车日记（复印版本），和友善的超市售货员告别。昨天得知洞里萨湖的风暴随着大雨过去时就订了$20去马德望的船票。LP上说这段水路是整个国家最美的景色。准备早上出发去乘船。

整理好后睡下，早上五点起床，走到楼下只有店主一人。他热情地给我准备了早餐，然后我们攀谈起来，原来旅店的生意只是他生活的一部分，他另外还管理着一个学校（政府没钱，他为学校提供一部分的资金，为学生提供衣服、用品、接送他们）旅店(Bun Kao Guest House)则是非常重要的收入来源。联想到他这几天对我以及其它客人服务之真诚，我既感动又起敬。

出发的皮卡车来了，我上了车，老板送我出来，我们在长长的路上挥手道别。

就这样，坐在一辆皮卡上，穿过已被大水淹没近半数街道的暹粒城市，我踏上了前往柬埔寨第三大城市----马德望的旅程。

未完待续

要查看本系列更多文章，欢迎点击页面右侧的Cambodia标签。本系列文章可能会省略一些旅行中的细节内容，如果您也打算出游，并还想了解更多详细信息的话，欢迎在网站页面留言，我会很高兴帮助您。