seanlou的博客

虚拟化开发环境

Thu, 03 Mar 2011 16:00:00 +0800

ShopQi 中应用到的技术越来越多，开发环境的搭建变得越来越繁琐，这对开源项目的团队协作是相当不利的
试想，每个程序员的偏好都不同，所使用的操作系统，编辑器都是五花八门的，在开发过程中由于开发环境不一致出现问题的不在少数，调试难度也大

所以，很多公司要求所有的开发机器不能随意安装软件，要保持开发环境高度一致
这种强制限制虽然让人感到不自由，但在公司做软件，也算情有可原

而做开源项目就不同了，我们要尽可能提供便利，减少安装过程对原有环境的影响
要实现这一目标是非常困难的，还好，现在有了Vagrant

Vagrant

Vargant是构建虚拟化开发环境的工具，它是用ruby开发的，并以gem方面发布，它会帮我们

创建一个Ubuntu10.04版本的32位VirtualBox虚拟机，并应用chef安装项目所需的ruby、数据库、应用服务器程序等
将宿主机项目所在的目录与虚拟机共享，我们在宿主机用喜欢的编辑器修改程序，虚拟机中的开发环境可以立即读取到

这样就可以保证项目组成员的开发环境是一致的,不一定是rails项目才适用,java php或其他的都是可以使用vagrant

有时候,我们需要跟进开发多个项目,有的用java,有的用ruby,有的使用mysql,有的使用mongodb
把这些都装起来也没问题,但是有点浪费性能了,同一时间我们只会开发一个项目
用vagrant我们可以很好的解决这类问题,每个项目一个虚拟机,需要时才启动

下载

虚拟机的操作系统镜像文件是经过定制的，在vargant中引入的镜像文件称为"Box"
我们先下载这个镜像文件，地址如下

http://files.vagrantup.com/lucid32.box
假设下载后放至~/lucid32.box

同时需要下载VirtualBox程序，并安装

http://www.virtualbox.org/wiki/Downloads

安装

安装前请确保宿主机已经安装了ruby和rubygem

gem install bundler vagrant --no-ri --no-rdoc

创建虚拟机

先引入刚才下载的镜像文件，作为vagant管理下的一个box，以后每次要生成一个用于开发的虚拟机，都会从这个box中复制出来

vagrant box add lucid32 ~/lucid32.box
#进入项目目录
cd ~/Documents/shopqi
#初始化，生成配置文件Vagrantfile
vagrant init lucid32
#生成项目虚拟机
vagrant up

等一会儿，一个ubuntu的虚拟机就建好了

在虚拟机上安装开发环境

vagrant可以根据chef指定的cookbook recipe进行安装，关于chef的介绍可以参考应用chef构建服务器集群自动化部署与管理
这里采用的是不依赖chef服务器的chef-solo方式，recipe采用 ShopQi 服务器部署的cookbook
指定recipe，需要修改Vagrantfile，增加以下内容

config.vm.provision :chef_solo do |chef|
　chef.recipe_url = “https://dl.dropbox.com/u/19519145/shopqi/chef-solo.tar.gz”
　chef.add_recipe “develop”
end

chef-solo.tar.gz文件是包含cookbooks集合的压缩包

#进入cookbooks所在目录后运行命令
tar zcvf chef-solo.tar.gz ./cookbooks

develop cookbook会引入开发机所需要的依赖recipe，查看内容

启动虚拟机

vagrant up
#如果已经启动，只想更新或者调试recipe，运行vagrant provision

如果你和我一样,喜欢rvm来管理ruby版本,并安装了除system自带的ruby,则需要修改/etc/profile,否则gems会被安装在自带ruby之下
参考 http://rvm.beginrescueend.com/integration/vagrant/

ssh登录虚拟机

之后，我们可以登录虚拟机，像以前一样执行rake等命令

vagrant ssh
#查看项目目录，会发现与宿主机的当前目录内容一致
ls /vagrant

刚才引入的cookbook包含了nginx recipe，所以我们可以看看虚拟机上nginx是否能正常访问了

wget -qO- 127.0.0.1:3000

結果返回:

<html>
<head>
<title>Welcome to nginx!</title>
</head>
<body bgcolor="white" text="black">
<center><h1>Welcome to nginx!</h1></center>
</body>
</html>

说明能正常访问，为了能在宿主机上用浏览器访问它，我们需要进行端口映射
修改VagrantFile，加入以下内容:

Vagrant::Config.run do |config|
　# Forward guest port 3000 to host port 8088 and name the mapping “web”
　config.vm.forward_port(“web”, 3000, 8088)
end

用浏览器打开 http://127.0.0.1:8088 就可以访问了

打包发布

现在开发环境已经安装好了，整个过程非常高效。更进一步，我们可以把已经做好的环境打包成镜像文件，分发给其他人，他们就可以瞬间建好开发环境了。

准备pkg文件,此文件只用于定义映射端口,会被合并至Vagrantfile文件中,内容一般为

Vagrant::Config.run do |config|
#Forward nginx
config.vm.forward_port(“web”, 3000, 8088)
end

#执行打包
vagrant package --vagrantfile Vagrantfile.pkg

执行后当前目录会生成package.box文件

关闭虚拟机

vagrant halt

测试

单元测试

还是跟以前一样

验收测试

由于cucumber使用的@javascript，需要打开浏览器测试ajax。而虚拟机并未安装桌面，此测试进行不了。
开源社区中有不少技术可以进行headless后台测试，但都不成熟.

所以,我们只能在宿主机上进行这样的测试了,这样的话,宿主机又要安装项目的相关插件,这可不少.
有什么办法能让插件跟着项目跑,而不把插件安装到系统上呢?

答案是可以的,我们在虚拟机上使用bundle install安装插件的时候,指定参数—path vendor/bundle，将插件安装在项目的vendor/bundle目录，这样在宿主机就不用再安装这些插件了。
还有,我们的测试数据库还在虚拟机上,还得修改 Vagrantfile ,把mongodb,redis-server,nodejs等服务的端口映射至宿主机
直接在宿主机上运行以下命令就可以测试了

bundle exec cucumber features

注意:将gems打包后,会导致在虚拟机运行rails各种命令时,速度巨慢,原因是virtaulbox共享目录的bug:随着目录内文件数的增长,对共享目录的访问会很慢
解决方案是应用nfs共享目录,具体查看这里 http://vagrantup.com/docs/nfs.html 和 http://vagrantup.com/docs/host_only_networking.html

#宿主机需要安装nfs服务
sudo apt-get install nfs-kernel-server

进入rails控制器

经过上面的处理,插件已经安装好了,但是由于rails并未安装进系统,使用以下命令是进不了控制台的

rails c

得在项目目录下,运行

script/rails c

报错

找不到client.pem

[default] I cannot read /etc/chef/client.pem, which you told me to use to sign requests!: stderr
[default] (: stderr
[default] Chef::Exceptions::PrivateKeyMissing: stderr

这也太奇怪了，用的是chef-solo方式，而非chef-server，怎么也需要client.pem?
原来是部分cookbook使用了search方法，此方法用于从chef-server中查找相应的信息

解决方法是在cookbook中加入判断条件，开发环境部署时不调用search，生产环境才调用

node[:instance_role]

‘unknown’: unknown terminal type.

很不幸，这是vagrant的一个bug，详情参考 commit#77a1b9a6efe4f5cdc993
解决方法，更新vagrant至0.7.3，不过，这个版本还没有发布，只能先手动修改本地gem的代码了

FATAL: No cookbook found in [“/tmp/vagrant-chef/cookbooks-0”, “/tmp/vagrant-chef/cookbooks”], make sure cookbook_path is set correctly.

这是vagrant的一个bug,详情请看
https://github.com/mitchellh/vagrant/issues#issue/308
https://github.com/mitchellh/vagrant/issues/closed#issue/297

不影响使用,作者正在修复…

运行chef-solo过程的其他错误?

#登录虚拟机
vagrant ssh
#在虚拟机运行chef-solo,显示更显示的debug信息
cd /tmp/vagrant-chef
sudo chef-solo -c solo.rb -j dna.json -l debug

如果希望vagrant命令运行时都显示详细信息,可以配置Vagrantfile

config.vm.provision :chef_solo do |chef|
　chef.log_level = :debug
end

参考资源

Vagrant官网
 chef_solo配置
 client.pem error
Creating An Ubuntu 10.10 x32 Vagrant Box
Setting up a Vagrant VM for TriSano
opscode vagrant

我的Ubuntu

Thu, 24 Feb 2011 16:00:00 +0800

我安装的Ubuntu版本是10.04，代号Lucid，32位，以下为安装后的配置过程

安装升级

基本安装

#换源，试来试去，还是台湾的源最快
sudo wget https://gist.github.com/raw/352828/ca1d292be9a10fe01b7e0b72d65a74b781683311/sources.list -O /etc/apt/sources.list
sudo apt-get update
sudo apt-get upgrade
#ibus输入法，比Fcitx好用
sudo add-apt-repository ppa:shawn-p-huang/ppa 
sudo apt-get update
sudo apt-get install ibus-gtk ibus-pinyin ibus-pinyin-db-open-phrase ibus-table-wubi
im-switch -s ibus
#chrome浏览器
sudo apt-get install chromium-browser

开发安装

虽然我已经把项目移至虚拟化开发环境中，但有些小项目还是需要在宿主机开发的，所以本地的基础开发环境还是要建立，而像mongodb、redis、nginx这些就不要再安装了，通通移至虚拟机

#git
sudo apt-get install git-core openssl
#rvm
bash < <( curl http://rvm.beginrescueend.com/releases/rvm-install-head )
rvm install 1.9.2
rvm 1.9.2 --default
#or sometimes we will get:no such file to load -- openssl (LoadError)
cd ~/.rvm/src/ruby-1.9.2-*/ext/openssl
ruby extconf.rb
make && make install
#irb should support readline. rmagick need.
sudo apt-get install ncurses-dev libreadline6 libreadline-dev graphicsmagick libmagick9-dev
cd ~/.rvm/src/ruby-1.9.2-*/ext/readline
ruby extconf.rb
make && make install
#vim编辑神器
sudo apt-get install vim vim-ruby

基本配置

关闭特效

用于开发的机子当然是性能优先了

右击桌面-[Change Desktop BackGround]-[Visual Effects]
选中[None]

自动隐藏任务栏

自动隐藏顶端及底端的任务栏，使浏览器及编辑器的窗口可显示的空间最大化

右击任务栏-[Properties]-[General]
选中[Autohide]

自动记忆

关机时已经打开了哪些程序（浏览器、包括terminal中的各个tab），重新开机后会自动打开。
[System]-[Perferences]-[Startup Applications]-[Options]
勾选[Automatically remember running applications when logging out]

顺便把[Startup Programs]中不需要开机启动的程序关闭掉，如Bluetooth Manager

Shell

安装终极Shell zsh，拥有更强的补全功能(常用工具的参数补全)

sudo apt-get install zsh
#引入增强插件,支持git,rails等补全，可选多种外观皮肤
wget https://github.com/robbyrussell/oh-my-zsh/raw/master/tools/install.sh -O - | sh
#zsh作为默认shell，重启后生效
chsh -s /bin/zsh

修改zsh配置，定义需要引入的插件，修改 ~/.zshrc 的plugins值为:

plugins=(command-not-found git rails ruby vagrant)

zsh外观皮肤大全
 zsh插件大全

具体有哪些补全功能呢，可以查看列表

#-h不列出文件名
grep -h -r -e '^alias' ~/.oh-my-zsh

浏览器

参考资源

Ubuntu中文wiki
Ibus install

应用chef安装openvpn

Sun, 13 Feb 2011 16:00:00 +0800

burst vps

之前买了burst的vps，现在准备为它安装openvpn
使用openvpn需要先登录后台管理 https://184.82.225.10:2408/index.php
在Networking & Utilities 启用 Enable Tun/Tap

安装openvpn

假设vps ip为188.188.188.188
ssh密码为123456

把这台vps当成vpn服务器，实现无障碍访问互联网

export EDITOR=vim
knife role create vpn

knife会打开vim，将内容修改为:

{
  "name": "vpn",
  "description": "openvpn server",
  "json_class": "Chef::Role",
  "default_attributes": {
    "chef": {
      "server_url": "https://api.opscode.com/organizations/#{YOUR COMPANY!}",
      "cache_path": "/var/chef/cache",
      "backup_path": "/var/chef/backup",
      "validation_client_name": "#{YOUR COMPANY!}-validator",
      "run_path": "/var/chef"
    }
  },
  "override_attributes": {
  },
  "chef_type": "role",
  "run_list": [
    "recipe[openvpn::default]"
  ]
}

修改完后退出vim，会提示已经

Created (or updated) role[vpn]

下载相应的cookbook

#此命令最常用
knife cookbook site vendor openvpn

远程生成服务端的keys，以下命令在本地执行
在bash，dot点号命令与source命令一样，把文件加载至shell内存空间

修改/cookbooks/openvpn/templates/default/server.up.sh.erb，加入以下内容

/sbin/sysctl -w net.ipv4.ip_forward=1
/sbin/iptables -t nat -A POSTROUTING -s <%= @openvpn[:subnet] >/<= @openvpn[:netmask] > -j SNAT —to-source <= @openvpn[:local] %>

修改cookbooks/openvpn/recipes/default.rb，加入变量

template “/etc/openvpn/server.up.sh” do
　source “server.up.sh.erb”
　variables :openvpn => node[:openvpn]
end

cd files/default/easy-rsa
. vars
rake server

为node加入role

knife node list
#以上查看node id，假如为201166，现在查看node的run_list
#加入刚才新增的role
knife node run_list add 201166 "role[vpn]"
knife cookbook upload -a

远程登录vps，开始按run_list运行指定recipe

ssh root@188.188.188.188
chef-client

在本地配置vpn client

sudo apt-get install openvpn
cd files/default/easy-rsa
. vars
#注意不要运行多次，多次运行的时候请更换name，否则生成的.crt文件会为空
rake client name="client" gateway="188.188.188.188"
sudo mkdir /etc/openvpn
cd /etc/openvpn
sudo cp /tmp/client.zip .
sudo unzip client.zip

修改DNS，否则就算边上vpn也不能访问twitter等，修改 /etc/resolv.conf为:

nameserver 8.8.8.8
nameserver 8.8.4.4

测试

#在服务端运行
openvpn --config /etc/openvpn/server.conf --script-security 2
#在客户端运行
sudo openvpn --config /etc/openvpn/client.conf

此时，再通过浏览器访问的google.com不会再跳转至google.com.hk了

ssh通道?

除了vpn，我们还可以使用ssh通道访问受限网站

#autossh支持断线重连
sudo apt-get install autossh
autossh -M 2000 -N -v root@188.188.188.188 -D 127.0.0.1:7070

结合"chrome proxy switch":https://chrome.google.com/extensions/detail/caehdcpeofiiigpdhbabniblemipncjj?hl=zh-cn 可以让浏览器自动切换代理

调试

日志

tail -f /var/log/openvpn.log

参考资源
BurstNET的VPS安装OpenVPN教程总结
Openvpn Document
ssh tunneling
Chrome自动使用代理

应用chef构建服务器集群自动化部署与管理

Thu, 27 Jan 2011 16:00:00 +0800

为了将rails程序部署到服务器上，需要做的工作有

安装服务器各组件，如libcurl等
配置服务器，如用户管理、iptable等
安装数据库
安装缓存服务
安装配置前端应用服务器
安装rvm
安装项目所需gems

以上工作属于新服务器到位后的一次性工作，而项目更新升级的工作属于不定期重复性工作，大致如下：

下载最新源代码
运行数据库脚本
重新启动应用服务器

此外，日常工作还包括服务器的监控、维护等

当项目规模不大，服务器只有一两台时，可以手动或者应用 Capistrano 及 deprec 自动处理

capistrano的缺点

在应用capify安装某些组件的过程中，如果出现问题，只能进入源代码检查相应的recipe，因为capistrano的recipe相对来说是隐性的
比如，安装之前，我们不知道mysql的安装会是通过package直接安装还是通过下载source本地编译后安装，也无法获知其版本
而当recipe不符合你的要求时，需要对其进行改造的成本比较大

随着项目规模的不断扩大，比如，有了专门的数据库服务器，甚至是数据库服务器集群，这时候capistrano就会显示力不从心了
我们需要有专业的服务器管理配置工具来统一管理所有的服务器，这类工具不少，这里只介绍chef

Chef

Chef是一个什么样的工具

想像一下我们现在需要搭建一台mysql database slave服务器，安装过程我们手动操作了
没过多久，我们需要第二台，这时候我们会想，如果之后安装第一台的时候把操作过程执行的命令写成脚本
现在安装第二台，运行一下脚本就行了，节约时间而且不容易出错

chef就相当于这样的一个脚本管理工具，但功能要强大得多，可定制性强
chef将脚本命令代码化，定制时只需要修改代码，安装的过程就是执行代码的过程

架构图

Chef的三种管理模式

1. Chef-Solo

由一台普通电脑控制所有的服务器，不需要专设一台chef-server

2. Client-Server

所有的服务器作为chef-client，统一由chef-server进行管理，管理包括安装、配置等工作
chef-server可以自建，但安装的东西较多，由于使用solr作为全文搜索引擎，还需要安装java

3. Opscode Platform

类似于Client-Server，只是Server端不需要自建，而是采用 http://www.opscode.com 提供的chef-server服务，本文描述以此方式为主，免费帐号可以管理5个服务器

Library程序库

程序库是定义的module方法，可以在chef中任何地方被调用，在方法体内可以执行与数据库等资源的交互动作
详见 Libraries

操作对象

chef可以通过recipe指定新建目录、生成配置文件、安装gems等操作，可控性非常强

新建目录

新建目录/data，owner为node[:user]指定的内容，权限代码为0755

directory “/data” do
　owner node[:user]
　mode 0755
end

生成配置文件

以someservice.conf.erb为模板，生成/data/someservice.conf配置文件，生成时会传递参数applications给模板

template “/data/someservice.conf” do
　owner node[:user]
　mode 0644
　source “someservice.conf.erb”
　variables({
　　:applications => node[:apps]
　})
end

把一台新的vps纳入chef管理

假设vps ip为188.188.188.188
ssh密码为123456

注册

到 https://cookbooks.opscode.com/users/new 注册帐号
通过邮件认证后，进入控制台 https://manage.opscode.com 创建organization
按提示下载两个链接文件至~/Downloads: Download validation key | Generate knife config
点击右上角的用户名，下载链接文件至~/Download: Get a new private key

下载后的knife.txt要改名为knife.rb
以上三个文件请妥善保管，下载之后opscode平台不再保存这些文件

本地安装

gem install chef net-ssh-multi --no-ri --no-rdoc
cd ~/Documents
git clone git://github.com/opscode/chef-repo.git
cd chef-repo
mkdir -p .chef

# USERNAME和ORGANIZATION改为实际的文件名称
cd ~/Downloads
cp USERNAME.pem ~/Documents/chef-repo/.chef
cp ORGANIZATION-validator.pem ~/Documents/chef-repo/.chef
cp knife.rb ~/Documents/chef-repo/.chef

#测试连接opscode platform
knife client list
#成功连接则显示validator的数组，如
#[ "shopqi-validator" ]

为vps安装ruby及chef客户端环境

knife bootstrap 188.188.188.188 -u root -P 123456
#ssh登录服务器不再需要输入密码
ssh root@188.188.188.188 'sh -c "mkdir ~/.ssh"'
scp ~/.ssh/id_rsa.pub root@188.188.188.188:/root/.ssh/authorized_keys

远程测试是否安装正常

ssh root@188.188.188.188
chef-client
#如果出现错误，可使用调试模式
chef-client -l debug

让vps运行第一个cookbook

安装完服务器操作系统后，第一件事情就是更新软件
一般情况下，我们会在服务器上运行命令

sudo apt-get update

现在我们要通过chef来指定vps运行此命令

本地安装apt cookbook

#此命令最常用，会从opscode官网 "http://cookbooks.opscode.com/":http://cookbooks.opscode.com/ 下载cookbook
knife cookbook site vendor apt

为node加入recipe

knife node list
#以上查看node id，假如为201166，现在查看node的run_list
knife node show 201166 -r
#加入apt recipe到vps的run list中
knife node run_list add 201166 "recipe[apt]"
knife node show 201166 -r
knife cookbook upload -a

远程登录vps，开始按run_list运行指定recipe

ssh root@188.188.188.188
chef-client
#每次本地更新后都要在远程运行chef-client比较麻烦，可以使用以下命令，设置为后台程序运行
chef-client -i 3600 -s 600

安装ruby-on-rails3

下载cookbook

#参数-d要求下载依赖的cookbook
knife cookbook site vendor rvm -d
#此cookbook调用了chef内置的deploy resource，实现类似于capistrano的部署功能
#但此cookbook还依赖了java cookbook等，忽略它们即可
knife cookbook site vendor application -d

新增apps data bag

data bag相当于全局变量，application cookcook需要根据apps指定role,recipe等参数

export EDITOR=vim
#参考 "https://github.com/opscode/cookbooks/tree/master/application":https://github.com/opscode/cookbooks/tree/master/application 将json粘贴进来
#退出vim时，data bag会被自动上传至chef server，本地不保存
knife data bag create apps 55true
#保存至本地
mkdir data_bags/apps
knife data bag show apps 55true > data_bags/apps/55true.json
knife data bag from file apps 55true.json

新增role rails

export EDITOR=vim
knife role create rails

Tip

服务器集群中可能会区分出production, staging环境，也可能同一应用部署在多台服务器中，但只需由其中的一台服务器运行数据库迁徙脚本

新增production, staging等role，设置app_environment attribute，分配至相应的node，这样可以重复使用deploy cookbook
新增app_name_run_migrations role，设置run_migrations attribute

常用cookbook

以下列出在 https://github.com/opscode/cookbooks 中常用的cookbook

apt

此recipt会运行apt-get update，用于更新操作系统

runit

用于保证unicorn等服务时刻处于运行状态
runsvdir服务会不停地监测/etc/sv目录下的服务目录，每个目录对应一个runsv服务
如果某个runsv服务出现故障停止了,runsvdir会自动重新启动它

#sv服务不启动时查看日志
ps -ef | grep runsvdir
#查看服务的状态
sv stat unicorn_server
#查看服务的日志
tail -f /etc/sv/unicorn_server/log/main/current

bluepill

runit保证了服务的运行，bluepill保证进程的cpu、memory占用率处于正常水平

users

新增用户，用户定义在users data bag中

mongodb

安装1.6.5版本的mongo server
https://github.com/papercavalier/mongodb-cookbook

unicorn

经过对比，还是选择37signal的unicorn cookbook，因为支持多app部署，而unicornapp不支持(opscode官方已经删除此cookbook)。为了对unicorn子线程进行监控，两者都使用了bluepill取代God进行监控。
注意：在production环境下，rails3默认不会处理public目录下静态文件的请求，所以不能像dev环境下直接通过指定端口访问某个unicorn服务

application

~~这个包含太多的依赖cookbook了，经过以上的实践，还是觉得不用它了，因为里面对rails项目有用的就是deploy部分，自己重写一个也很容易~~

注意事项

在service或者definition中传递参数时，如果将父params需要级联传递下去，得手动为params赋值至其他变量，因为在service或者definition块中，params参数已经被当前块覆盖了
详情参考："http://tickets.opscode.com/browse/CHEF-422"

参考资源

Infrastructure Automation with Chef
Getting started with Chef tutorial
Getting Started With The Opscode Chef Platform – Configuration Management In The Cloud
How to Deploy Ruby on Rails With The Opscode Chef Application Cookbook
Cooking with Chef 101
Why Startups Need Automated Infrastructures
Deploy Resource
application cookbook

runit

应用node.js,redis,resque构建实时项目

Mon, 10 Jan 2011 16:00:00 +0800

我对javascript语言还是很喜欢，所以对node.js这么有创意的东西，很早就开始关注了。
据说在实时领域的表现非常好，资源占用也不多，很想实践一番，以后正式项目有对实时性的需求，就可以放心地使用node.js了。

所以我决定将 55true 重新开发，加入即时问答的机制，普通功能开发上使用rails3，而实时性上应用node.js。
虽然node.js相关的框架已经非常多，也有类似于rails的MVC框架，但是毕竟发展时间还不长，所以使用rails结合node.js的方式进行开发是个不错的发展方式，各取所长。

Node.js

node.js是一种可以用js来编写的服务端程序

这次使用 https://github.com/maccman/juggernaut 框架，结合redis，实现rails与node.js服务的交互。
node.js的发展非常的快，有类似于rails bundler的插件管理工具npm，但为降低node.js相关框架的管理复杂度，我直接将juggernaut及其依赖的js文件都放在 55true 的根目录。

安装

cd ~/Downloads
wget http://nodejs.org/dist/node-v0.2.6.tar.gz
tar -xzvf node-v0.2.6.tar.gz
cd node-v0.2.4
./configure
make
make install

Juggernaut

Juggernaut 是包含服务端及客户端的实时解决方案，最初服务端是用ruby eventmachine实现的。
node.js出来后，整个框架就用node.js重写了

启动Juggeranut

#node server.js
sudo node server.js

使用root帐号启动，否则firefox客户端访问会报错

Flash is optional, but it’s the default fallback for Firefox (until the beta is released). Start the server using root if you want Flash support. It needs to open a restricted por

Redis

redis是类似于memcached的高性能键值缓存工具，但它支持更多的值类型、功能更加丰富，且可以将存储内容定时持久化到磁盘中，是NoSQL家庭中出色的一员

安装

wget https://github.com/antirez/redis/tarball/2.2.0-rc2
tar -xzvf antirez-redis-2.2.0-rc2-0-g0540df2.tar.gz
cd antirez-redis-b703b5d
make
sudo make install

客户端

redis-cli

调试

运行客户端后，输入命令

monitor

注意expire

redis的expire命令有限制，执行此命令后，对key进行的任何操作都将先对key进行清空操作，详见 http://redis.io/topics/expire
2.1.3以上版本不存在这个限制，但未正式发布稳定版，2.1正式发布时会更改为2.2版本

具体表现如下:

redis> set a 100
OK
redis> expire a 600
(integer) 1
redis> incr a
(integer) 1
redis> get a
“1” #正常来说，应返回101，因为还key还没有过期

如果对这个限制敏感，可以尝试 2.2.0rc2版本
make 之后最好再执行下 make test 测试是否正常，我试过，确实不再存在上面说的奇怪表现

redis-rb

redis支持多语言实现的客户端访问，redis-rb是redis的客户端之一，基于ruby语言实现。
redis-rb中的方法名称与redis的一致

Resque

resque是基于redis的后台任务组件，能把任何类或模块作为任务在后台执行，且自带前台管理功能，方便查看执行情况。

使用

1. 编写任务

class WorkerClass
  @queue = "demo"
  def self.perform(args)
    sleep 3 
    puts "Doing something complex with  #{args}"
  end
end

2. 进入任务队列

require "resque"
Resque.enqueue(WorkerClass, args)

3. 运行任务

与rails3整合

0. 配置redis
新增 config/redis.yml 文件，加入以下内容

defaults: &defaults
  host: localhost
  port: 6379

development:
  <<: *defaults

test:
  <<: *defaults

staging:
  <<: *defaults

production:
  <<: *defaults

1. 加载resque

echo "require 'resque'" > config/initializers/load_resque.rb
config = YAML::load(File.open("#{Rails.root}/config/redis.yml"))[Rails.env]
Resque.redis = Redis.new(:host => config['host'], :port => config['port'])

2. 由于worker类都放在app/jobs，因此需要指定rails加载此目录
修改 config/application.rb，加入以下内容

config.autoload_paths += %W(#{config.root}/app/jobs)

3. 加入rake任务
修改 @RakeFile@，加入以下内容

require ‘resque/tasks’
task “resque:setup” => :environment

第二句指明运行 resque:setup 前先初始化rails环境

运行resque后台任务

QUEUE=* rake resque:work

查看任务执行情况

#运行resque前台管理服务器
resque-web -p 8282

打开浏览器，访问 http://0.0.0.0:8282
前台可以查看失败的worker及其日志，可以手动执行retry操作

定时任务

如需定时执行任务，可以使用 resque-scheduler

测试

在测试的时候我们不需要测试过程与resque是异步的,否则resque执行的时候数据可能已经被清空了,使用resque_spec插件可以让resque worker立即执行

详情查看 https://github.com/leshill/resque_spec

参考资源

Resque commands
Resque github repository
Resque with redis to go
Do you know resque
resque-scheduler, resque, rails integration, redis

部署rails项目到heroku，并使用mongohq文档数据库

Thu, 23 Dec 2010 16:00:00 +0800

简介

Heroku

heroku作为rails项目的托管商，具有功能完备、操作简单等优点，而且提供免费服务
免费项目只提供一个应用服务进程(即只同时在线1个)，提供5m免费关系型数据库

MongoHQ

mongohq提供mongodb文档数据库的在线存储服务
免费帐号每个数据库有16m的存储空间，heroku已经支持mongohq，将之纳入addons中

因此，想要把迷你型或实验性的项目放到网上，又想免费，heroku是最好的选择了

这几天想要查找域名，需要批量查找5-8位拼音组合的.com域名(四位的已绝迹)
所以写了个程序批量查找有效域名，放到heroku上。

安装heroku

gem install heroku --no-ri -no-rdoc

安装其他

rails3及mongodb等环境的安装，可参考 http://github.com/saberma/shopqi

新增项目

新增rails项目

rails new test_heroku
cd test_heroku
#修改GemFile，加入必要的Gem
#...
#生成mongoid配置文件
rails g mongoid:config
git init
git add .
git commit -m "new app"

新建heroku app

先到 heroku.com 注册帐号

heroku create test_heroku
#按提示输入注册时的帐号和密码

加入MongoHQ Addon

heroku addons:add mongohq:free
#查看新增的数据库信息(MONGOHQ_URL部分)
heroku config --long

修改 config/mongoid.yml, production只留以下内容

production:
uri: <%= ENV[‘MONGOHQ_URL’] %>

mongoid已经支持uri参数了，不需要像mongohq官方文档描述的那样，增加config/initialize/mongo.rb文件

部署至heroku

git push heroku master

测试

浏览器访问 http://test_heroku.heroku.com ，看是否显示rails的信息

在MongoHQ中查看数据

登录 MongoHQ
点击右边栏按钮"Add a Remote Connection"
输入Name和URI，确定

URI为heroku中通过 heroku config --long 查看到的MONGOHQ_URL内容

heroku常用命令

# 运行rake
heroku rake db:seed
# 运行控制台
# 查看运行进行
heroku ps
# 查看日志
heroku logs
# 查看参数
heroku config --long
# 重命名(子域名)
heroku rename newname
heroku console

参考资源

Heroku Docs
MongoHQ Heroku Addon
Batch Search Domains
Fcitx Phrase Pinyin
Pinyin Frequence

在Ubuntu环境下安装最土团购开源php程序

Sat, 18 Dec 2010 16:00:00 +0800

下载

在最土官网下载
http://notice.zuitu.com/down/ZuituGo_V1.6.tar.gz

安装mysql数据库

sudo apt-get install mysql-server

安装php环境

#apache
sudo apt-get install apache2
#php5(默认带有mbstring组件)
sudo apt-get install php5
#配置APACHE+PHP
sudo apt-get install libapache2-mod-php5
sudo /etc/init.d/apache2 restart
#mysql相关
sudo apt-get install libapache2-mod-auth-mysql
sudo apt-get install php5-mysql
sudo /etc/init.d/apache2 restart

安装程序

将压缩包中的wwwroot下的内容解压至/var/www目录下

如需修改apache webroot黙认路径，请修改/etc/apache2/sites-enabled/000-default文件

#修改目录归属于当前用户saberma
chown saberma /var/www
#修改目录可写权限
chmod a+w static/user
chmod a+w static/team
chmod a+w include/compiled
chmod a+w include/configure
chmod a+w include/data/
chmod a+w include/template/

配置

浏览器打开 http://localhost/install.php
输入数据库密码后点击安装即可

安装完成后需要手动删除install.php

rm /var/www/install.php

调试

打开日志

为方便初期调试错误，需要打开错误日志输出功能
修改 /etc/php5/apache2/php.ini 的以下内容

error_reporting = E_ALL
display_error = on
html_errors = on
log_errors = off

查看php环境信息

在网站根目录中新增phpinfo.php文件，内容如下

<?php phpinfo()?>

浏览器打开phpinfo.php，即可看到环境信息

部署

一般情况下，PHP的虚拟空间只能使用ftp，而项目代码使用git进行版本控制
为了让git管理下的项目代码能够直接发送至ftp，需要安装 git-ftp

#ubuntu10.04下的安装过程
sudo -s
add-apt-repository ppa:resmo/git-ftp
aptitude update
aptitude install git-ftp
exit

配置ftp地址、用户名及密码

git config git-ftp.user saberma
git config git-ftp.url ftp.example.com
git config git-ftp.password secr3t

修改文件后，使用以下命令部署

git ftp push

参考资源

最土官网下载说明

开发iphone游戏确实能赚钱

Fri, 26 Nov 2010 16:00:00 +0800

收到iphone汇过来的美元了

上个月，我发现我的信用卡帐号多了164.62美元(显示-164.62)，难道苹果结算了，想想应该不可能，我那小游戏没那么快能卖够150美元的，再说了要是结了总会给我发邮件通知吧。

所以我就想是不是银行出错了，就在我犹豫着是用了再说，还是主动报告给银行的时候，我登录了 https://itunesconnect.apple.com (之前都是用 appannie.com 看报表，直观很多)，咦:

图片显示在9月2日apple确实汇了美元过来了:)，根据apple开发协议，都是月初结账，150美元起才会汇款

开发这个小游戏的初衷就是想了解下iphone程序及游戏的开发流程，所以能不能赚钱、赚多赚少都没有关系
现在出乎我意料的是，竟然不会亏钱了，之前加入apple会员时，交纳的99美元年费也回来了，所以结论是：

如果你专注iphone游戏开发，绝对是可以赚到钱的

我在6月份辞职后就不再花精力在iphone app的开发上了，专注于 shopqi独立网店平台的开发，因为人的精力有限，要把事情做好的话，同一时间只能做一件事

如果您准备进入iphone开发领域，我给点小建议:

创意不是最重要的，有创意最好，没创意就先做点小的，掌握技术、市场，熟悉这些后一有创意就可以快速开发出来了，关注是能不能做到精致
宣传很重要，一定要在各大iphone论坛发贴介绍，特别是国内的 cocoachina.com ，发放推广码求review
一定要经常更新，记住敏捷开发中的 小步快进 原则，apple的推广码有数量限制，每次更新，推广码数量也会重新起算

参考资源

游戏的主页: http://www.55xiaoyou.com
游戏源代码地址: http://github.com/saberma/BrainShot

BrainShot具有以下特征

基于cocos2d开发(http://www.cocos2d-iphone.org)
兼容iphone,ipad
兼容免费版、收费版，用户下载的免费版可以直接升级至收费版(即应用了In App Purchases)

对初学者还是有点参考价值

说说在此之前的另一个iphone app

如果您有iphone，但没有mac机，可以参考我之前写的文章在ubuntu上开发iphone app
相应的程序源代码地址: http://github.com/saberma/iphone
此demo程序实现以下功能：

显示客户用户名等信息的列表，可进行增删改操作
可以给客户拍照，并保存
即时将客户信息无线上传至远程服务端
支持mac平台下开发、ubuntu环境下开发

这个程序是以前公司安排的demo开发任务，给意向客户演示用的，demo包括两个后台服务端和iphone客户端两部分，难度很大。

之前没有接触过mac操作系统、开发环境 XCode 不懂、开发语言 Object C 、相应的开发框架 cocos2d 也不了解
时间很紧，就10天，白天上班还得开发另一个项目(进度也很急)的工作流引擎，只能晚上做

但是，最后还是做出来了，每天晚上做到12点左右，累是很累(之后连续半年肚脐对应的后背颈椎老痛)，却很开心，这是我最喜欢的项目之一。
现在每每回想起来，都会对我的领导谢总和张总心存感激之情，给了我太多的实践机会。

应用gitflow建立代码开发标准化流程

Mon, 25 Oct 2010 15:00:00 +0800

我们已经使用git进行版本管理，为更好地进行协同开发工作，需要对流程进行规范
shopqi网店平台产品开发将遵循此流程, 以下对git的开发流程进行描述

开发流程

在开发的过程中存在以下情况:

情况1: 开发新特性
情况2: 紧急修正生产环境中报告的Bug
情况3: 支援其他成员，帮忙调试

假如我们在master主分支中进行新特性的开发，这时如果发生情况2，处理起来比较麻烦。

正确的实践应该是:

master主分支保致与对外发布的版本同步
每个新特性(feature)都有独立的分支
将多个新特性(feature)分支合并至发布(release)分支
待发布(release)分支完成后再合并至master主分支，正式对外发布

应用gitflow

gitflow是开源的标准化git流程协助工具，项目地址在 http://github.com/nvie/gitflow

安装(Ubuntu环境)

wget -qO- --no-check-certificate http://github.com/nvie/gitflow/raw/develop/contrib/gitflow-installer.sh | sudo sh
sudo apt-get install opt

其他操作系统安装gitflow请参考 http://github.com/nvie/gitflow

使用方法

#初始化(提问时回车就好)
git flow init

开发新特征

git flow feature start <name> [<base>]
git flow feature finish <name>
#列出新特征分支
git flow feature

准备发布版本

git flow release start <name> [<base>]
git flow release finish <name>
#列出发布分支
git flow release

< base >是位于develop分支的commit

修正紧急Bug

git flow hotfix start <name> [<base>]
git flow hotfix finish <name>
#列出修正分支
git flow hotfix

支援其他成员工作

git flow support start <name> <base>
#没有finish?(待实践)
#列出支援分支
git flow support

< base >是位于master分支的commit

结合github

上传未完成的feature分支

#git push REMOTENAME BRANCHNAME
#一般情况下REMOTENAME即为origin, BRANCHNAME为以feature/为前缀的分支名称
git push origin feature/orders

注意:对于develop分支，由于所有成员的本地库中都有，所以不能上传

参考资料

应用jekyll构建基于github page的博客

Mon, 20 Sep 2010 15:00:00 +0800

基于github page的博客好处:

简单至极，且完全免费
可以支持rss订阅，评论功能
依赖于git，文章原生支持版本控制(对比)，更有利于知识库类文章
可以使用vim编写文章，写的时候像在写代码，更符合程序员的习惯

本博客此次除了启用全新个人域名saberma.me，将做以下调整

美化网站风格，更加的清新:)
页面布局调整为html5、css3架构
文章可按分类显示
代码增加高亮显示
增加rss feed输出

挑个新的博客模板

要求是基于html5、css3的免费模板，google之，发现个好地方: http://freehtml5templates.com
一页一页的挑吧，总会找到自己喜欢的，可以根据右下角的Tag Cloud进行筛选，现在看到本站的新样子就是找好久才看中的模板

绑定独立域名

在godaddy中注册 saberma.me 域名，.me专用于博客类型，但比.com贵一些，且没有优惠

注册完域名后，在域名管理中增加A record并指向207.97.227.245
在你的github项目下增加CNAME文件，内容为你的域名，如 http://github.com/saberma/saberma.github.com/blob/master/CNAME

具体参考 http://pages.github.com 中 Custom Domains 部分的内容

pygments代码高亮

安装pygments

# On Ubuntu 安装
sudo apt-get install python-pygments

完整安装说明

生成高亮显示的css文件

选择喜欢的样式，记下名称
http://pygments.org/demo/6622

我选择的是fruity style，作为pygmentize命令style的参数值

# 生成相应的css
pygmentize -S fruity -f html > stylesheets/syntax.css

参考pygments Command line usage

如何使用

语法高亮的代码段

{% highlight ruby %}
def foo
  puts 'foo'
end
{% endhighlight %}

highlight后面第一个参数为language，如php，也可以是ruby控制台irb，更多lanuages可以查询 http://pygments.org/docs/lexers/
第一个参数为必填，不填会导致_site目录生成不了相应的html文件，第二个参数显示行号

参考jekyll说明

Markdown标记与Liquid逻辑处理

两个知识点

为避免直接编写html代码，编写文章时，内容需要加入标记信息，即Markdown
博客中都是需要经过处理的，比如逻辑判断处理、循环处理，jekyll应用liquid模板语言进行这些处理

Markdown

标记语言有很多种，如textile
这些标记语言会被标记引擎转换，输出成相应的目标格式（大部分情况是输出成html）
引擎也有很多种，不同的编程语言有不同的实现，ruby常用的引擎有RedCloth

Liquid

简单来说，凡是看到{{}}或者{% %}包含的内容都是会被Liquid引擎处理的

比如*将日期格式化*的liquid语句

Liquid error: undefined method `strftime' for "{{ post.date | date_to_string":String }}

除了标记的Liquid语法外，jekyll还扩展出了几个便利的方法，其中有上面介绍的highlight方法
jekyll liquid扩展
 liquid参考资料

整合评论

由于github page最终生成的都是静态html页面，所以是没有评论功能呢
但我们利用disqus实现在线评论功能，先到 http://disqus.com 注册帐号(免费)
注册成功后，为简单起见，只要把 _includes/post.html 中的saberma替换为你的注册帐号就行了(disqus_url输入你实际的域名)

整合rss订阅

因为jekyll可以生成blogs列表，所以我们可以编写atom.xml，由jekyll生成最终xml结果
这是我的atom.xml文件

将生成的xml地址提交至 feedsky.com ，由feedsky进行管理和美化

Setting Up an Atom Feed at GitHub Pages

你也想弄一个github page博客?

最快的做法是 fork我的博客，git clone到你的电脑
然后修改成你的，具体需要调整的地方是:

删除_posts中的文章
按上面介绍的[整合评论]修改 _includes/post.htm 文件
按上面介绍的[整合rss]修改 atom.xml 文件
修改CNAME的内容为你的独立域名
运行jekyll，看看效果
上传!ok，访问你的blog地址看看

参考资源

publishing-a-blog-with-github-pages-and-jekyll
jekyll wiki
http://pages.github.com

seanlou的博客

虚拟化开发环境

Vagrant

下载

安装

创建虚拟机

在虚拟机上安装开发环境

启动虚拟机

ssh登录虚拟机

打包发布

关闭虚拟机

测试

单元测试

验收测试

进入rails控制器

报错

找不到client.pem

‘unknown’: unknown terminal type.

FATAL: No cookbook found in [“/tmp/vagrant-chef/cookbooks-0”, “/tmp/vagrant-chef/cookbooks”], make sure cookbook_path is set correctly.

运行chef-solo过程的其他错误?

参考资源

我的Ubuntu

安装升级

基本安装

开发安装

基本配置

关闭特效

自动隐藏任务栏

自动记忆

Shell

浏览器

参考资源

应用chef安装openvpn

burst vps

安装openvpn

ssh通道?

调试

日志

参考资源 BurstNET的VPS安装OpenVPN教程总结 Openvpn Document ssh tunneling Chrome自动使用代理

应用chef构建服务器集群自动化部署与管理

capistrano的缺点

Chef

Chef是一个什么样的工具

Chef的三种管理模式

Library程序库

操作对象

把一台新的vps纳入chef管理

注册

本地安装

为vps安装ruby及chef客户端环境

远程测试是否安装正常

让vps运行第一个cookbook

本地安装apt cookbook

远程登录vps，开始按run_list运行指定recipe

安装ruby-on-rails3

下载cookbook

新增apps data bag

新增role rails

Tip

常用cookbook

apt

runit

bluepill

users

mongodb

unicorn

application

注意事项

参考资源

应用node.js,redis,resque构建实时项目

Node.js

安装

Juggernaut

启动Juggeranut

Redis

安装

客户端

调试

注意expire

redis-rb

参考资源
BurstNET的VPS安装OpenVPN教程总结
Openvpn Document
ssh tunneling
Chrome自动使用代理