Coder,肖德时的个人BLOG

awstats如何配置，想玩转它就看这里！

coderchina — Thu, 18 Sep 2008 17:57:49 +0800

我想awstats这一日志统计工具，应该很多站长都玩过。这里有车东的awstats文档可参考配置。我的习惯是下最新的用，之前没有用过，所以在测试环境多配置了几次后，对一些不明白的地方有了一些认识。经验嘛，分享之。不足之处，还请各位大仙斧正。

1、安装没有什么技巧，当然车东提供的一个配置方式可以拿来用用，:-)
这里默认配置目录为：/etc/awstats

你先把awstats-6.9/wwwroot/cgi-bin/awstats.model.conf复制到/etc/awstats下，重命名为common.conf，随后的操作参考车东文档即可。

2、日志的格式，这是新手遇到问题最多的地方，或者说我自个吧。老是提示什么格式不对。或者出现只收录bad record记录。咱最终的目标是收到new record，才算搞定这些。
别急，这里我再提供一份完整的参考，并且保证有效。
我拿流行的nginx日志来配置：

nginx.conf里：
log_format main        ‘$remote_addr - [$time_local] "$request" ‘
                          ‘$status $body_bytes_sent "$http_referer" ‘
                          ‘"$http_user_agent" $http_x_forwarded_for’;

其实就是默认值。然后在awstats.你的域名.conf里配置如下：
LogFormat = "%host - %time1 %methodurl %code %bytesd %refererquot %uaquot"

注意：默认awstats是以空格为分隔，所以错误发生的原因只有两条：要么少空格，要么字段顺序不对。睁大眼睛看看。其中$http_x_forwarded_for在awstats没有对应值，这里我提出来，需要细研究才知此标识有没有用处。有人把$http_x_forwarded_for去掉了，也没有问题，照样可以生成日志。

参考url：
http://www.chedong.com/tech/awstats.html

http://www.dbanotes.net/techmemo/nginx_awstats_fastcgi_for_perl.html

http://www.php-oa.com/category/awstats%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90

高性能环境下对HA,Cluster,Load Balance的理解(Final)

coderchina — Tue, 26 Aug 2008 14:39:11 +0800

其实这些技术术语已经在我的口上挂了N(N>5)年，但我还是不太明白这其中的细节。昨日晚上感觉很热，无法入睡。这脑子也在不断的研磨着这些术语的理解，想着今天上班后，使用维基来验证一些最基本的计算机概念。

今天细看了之后，还是有些收获。Cluster分为HA Cluster,LB Cluster。在我实践中，LB Cluster的技术用的比例高，HA的成本是需要考虑的。有些朋友可能会实现成HA Cluster基础之上，把这个Node看成一台Server，然后在此基础之上再作LB。
~~我现在要去部署应用，等有时候再延续这篇BLOG..~~
继续写:
不管是HA,还是LB形式的Cluster，维护成本是极大的成本。所以Grid Computing是必然之路。换个术语“云计算”我估计也是这个范畴里的东西。因为涉及的技术我没有了解过，也没有体验过，不发表意见。

     换一个，我提供一个对Cluster的理解，在架构Cluster的时候，应该关注应用层的复印，对于数据库（比如数据库）使用Cluster获得的收益是很小的，在现有的关系型数据库模型下，单Instance的数据库仍然是王道模式。想获得数据的性能提升，通过数据分片，拆表，分割等技术，已经可以有足够的机会获得所在环境中的数据高性能。
       而在考虑应用性能时，通过冗余复制实现数据吞吐量的LB是比较理想的，原始的，又是行之有效的方法。毕竟现在的硬件已经很便宜了。这里又引出另一个话题：那就是作为工程师，是不是应该滥用硬件来解决软件性能问题。因是题外话，点到为止。
     另外，现在还有另一种技术，就是Cache，分布式的Cache技术类如Memchache等，已经开始在互联网中广泛应用，因为还没有详细理解，所以也不发表意见。

总结：在尽可能的情况下使用Cluster，注意拒绝滥用硬件的陋习。在优化软件结构之后，再去考虑高性能。Over!

参考：
1.Cluster (computing)
2.Load balancing (computing)

Reverse Proxy Server在高性能应用环境的思考

coderchina — Tue, 19 Aug 2008 17:56:54 +0800

高性能场景下，通过有限的硬件及软件资源获得满意的处理量，是每一位系统运维人员的梦想。恰逢我正在应对这方面的场景，并正好需要处理并伴随它一起走过这段时期，记录下来也算对以后的回忆。

在国内网站的部署上，我们应在有条件的环境下部署apache,lighty,nginx等frontend web，目的两条：

1、提交请求吞吐量。
有人感觉apache不成，没问题，你使用lightty,Nginx都可以，网上参考也多。这里最关键的问题是如何部署管理网站的日志。有点头疼。

2、静态，动态分流处理
动态的处理能力靠的是硬件+算法，算法不成，硬件更不成，就要考虑分布式处理。前端Server都有load balancing的配置技巧，网上搜索一下即可。

应用层这里，因为有java，rubyonrail,python,php之分，我本身也不是熟知这些技术，也不乱说。

后端数据层：

Mysql，首选，参考文章很多。配置参数的搞优，我认为一定要搞明白是整么回事再调整。别以为参考各位大虾一样，安装一个64bit OS就OK了。这mysql Replication的场景有没有应用到。备份的操作有没有考虑周全。如果还要考虑HA高可用性，那如何处理？

监控：
我们的目标，是没有不被监控的服务应用。nagios和Cacti。也可能还有其它工具，但无一例处是减少工程师的工作量，让工作都能automate下去。这样工程师能端着茶边歇边监控才是王道（说的轻松，操作起来是需要积累的）。

还有一个不成文的使命：

就是用最有限的机器数量完成最大的任务吞吐量。这是每一位工程师需要注意并细心考虑实现的目标。

参考：
1.http://blog.kovyrin.net/2006/05/18/nginx-as-reverse-proxy/
2.http://www.igvita.com/2007/10/10/hands-on-mysql-backup-migration/
3.http://www.howtoforge.com/mysql_database_replication

Mysql在master-master replication环境下不要想着负载写数据

coderchina — Wed, 06 Aug 2008 21:33:04 +0800

真是凑巧，今天晚上回来时还在琢磨是不是尝试一下在MM模式下，把写数据的操作分别负载到机器Ａ和机器Ｂ上，想当然的认为这样不就可以提交ＣＰＵ的处理能力了吗？没想到已经有专家提示，一句话：不可能实现！

原文

How to scale writes with master-master replication in MySQL

软件的意义

coderchina — Fri, 01 Aug 2008 10:32:33 +0800

对于软件，不同的人有不同的视角和理解。那么软件到底是什么呢？我想回答这个问题：

一、有一台电脑，有一根网线，一个程序员可以写出一个软件。如果没有人使用，就是垃圾。如果很多人使用，它就是生活的一部分。是的，软件业在硬件的不断升级演化中不断的改变定义对软件的认识。年青人现在一毕业就已经百八十具备计算机软件的使用能力，没有软件工作难以实施。对于办公室的OL，无纸化办工的环境使她们感到无比舒适的优越。对于开发者来说，软件的意义也从功能到实现的目标转变，不管现在SOA，SaaS，Cloud，都在说明如何让软件融入人们的生活。所以对于软件，它应该是一个超越人类想像的功能实现工具，让人们更加舒适的生活的工具。最终目标是类人化的机器网络，就像科幻电影一样。

二、软件是程序员写出来的，所以作为实现者我们思考的思路要明确。我们作的程序不是一蹴而就的。从繁到简，我们需要不断的优化。所以不管作任何软件，都应该不要惧怕前面未知的困难。敏捷+实践是生产的基础。开源软件是技术参考的重要资料。所以我认为软件是一份事业，希望更多的年青人能看到这一些，有事业的年青人总能干出一些事情来。

三、软件分很多领域，其实都是相通的。只是有基础技术知识为屏蔽墙，只要你感兴趣，你就可以穿破它。梦想和现实其实就一步之遥，不放弃不抱怨是最好的应对。从最近我全面参与开源技术的实践经验来看，我推荐更多的年青人首先应该关注开源技术，不管成熟否，只要有你的参与，就会有新的发现。商业技术在与开源技术之间的竞争中不断的作出让步，并开源相应的技术足以证明新时代的开始。开源事业任重道远，只要有你的参与才会更加精采。

四、软件在中国百废待兴，不管是菜市场，交通，城市卫生，商场，路人，他们都需要更多有用的软件，但这些软件在哪里呢。他们暂时还存在你的脑子里，你还没有时间来实现它，没关系，可以在这里共享你的思绪>>点这里。

Mysql5.x　DBA考试备考指南

coderchina — Tue, 29 Jul 2008 14:37:02 +0800

如果你有心想从事一门新职业，可以考虑ＤＢＡ的职业，当然一份Mysql DBA认证是最好不过的敲门砖。所以今天有心看到专外提供的考DBA的备考心理路程，还是眼睛一亮，为什么不试试呢。

Preparing for MySQL 5.x Certification,By Mark Schoonover

北京唯一认证的考试机构是：

MySQL中国研发中心暨北京万里开源软件有限公司
（注：我看了内容，有很多都过时了，也许国内真正有兴趣考的，更关注Oracle吧。建议先电话咨询一下。）

官方提供的自学认证资料:
http://www.mysql.com/certification/studyguides/

ＯＫ，有这些内容，我相信考这个就需要你的努力了。That’s all!

UseFul Links-总有你感兴趣的

coderchina — Sun, 27 Jul 2008 13:20:19 +0800

突发奇想：发起一个北京书友会免费读专业技术书籍活动，你想参与吗？当然目前仅限北京用户。点这里了解全部>>

我知道国内有80%的计算机专业的毕业生，就是想找份工作。这有什么，我刚毕业那会也是这个目的。

PHP Interview Question

我看了一下，写的不错，直接要害。想必找公司只要多练习这些就可以了吧。呵呵。

Scalaris
Transactional Key/Value Store for Web 2.0 Hosting
类似于Amazon’s SimpleDB (aka Dynamo)，但支持完全的ACID特性。
Scalaris is implemented in Erlang and Java. The code is available here.

体验appFuse，按这样式，咱们还需要多多实践

coderchina — Sat, 26 Jul 2008 15:19:32 +0800

Technorati 标签: appFuse,struts2

Java Web的快速开发实践，配置很多，如果有先人能把框架，模式都配置好，后人直接在上面构建应用，不是很快。新手的第一步一般都很慢，所以找上appFuse，学一下struts2的构建：

那么这篇文章不可多得：
AppFuse:Igniting your applications with AppFuse

其中关于JMock的示例代码，现在已经不适用了，需要调整。

不管怎么说，我已经把整个Ｃode代码都调式一遍，没有问题，方便你下载一次运行成功。Ｍysql表在文章中是自动生成的，所以也不必提供。

deviceMgr\src\,点击此处下载

我把文章中src包打包一下，你使用以下命令创建完之后，再覆盖即可生成这后定制的代码。

第一次生成时，标红处我改了，你需要注意。：

mvn archetype:create
-DarchetypeGroupId=org.appfuse.archetypes
-DarchetypeArtifactId=appfuse-basic-struts
-DremoteRepositories=http://static.appfuse.org/releases
-DarchetypeVersion=2.0.1 -DgroupId=com.xds.app -DartifactId=deviceMgr

生成项目后，注意改一下pom.xml里的mysql帐号及密码，方便能连上数据库。

—-永不穿墙破折号——-

掌握开源框架，首先肯定要看书，但技术更新总是快于书籍更新，没思路的时间，把问题记下来，以作备案。加入maillist可以解决一般通用的问题，或者说可以给你一种信息，别人也在使用呢，火不火就看这个了，使用gmail可以来管理邮件列表。

你要知道就java框架，就学习struts2，它其中还有ognl,freemaker,common-upload等组件，你没法一一了解的多深，一定要掌握“够用就好的原则”。不要细分各种花哨的技巧，先练个几遍。用上实现自已的目标。

对于每一项阻拦你前进的技术，或者功能，都要记下来，在eclipse新建一个test项目实现它。然后再考虑整合。

最后，一定要有耐心，不要认为Python，Ruby on rails“牛”，java落后了，不学了，最后搞的一事无成。

Over!

Lightwight WebApp Forms，Cluster、High Performance

coderchina — Thu, 24 Jul 2008 16:16:35 +0800

update:19:30

如果你看过又拍网的架构介绍，它使用LVS+HA，其实最重要的是HA，说白了就是对外一个ＩＰ，然后后面哪台坏了，有家伙能顶上。但就目前Linux来说，只有LVS这条路可以走，其它都要花钱的。另外，对于使用apache+tomcat又拍网用的很粗糙，根本就没有想到优化。对于后来使用Python来自制，这是运营者的选择，我认为好处在哪里呢，我认为没有必要。从另一方面来说，由于这种图片应用来说，根本没有什么复杂的逻辑及限制，对于Scope（Application,session,Local）就没有什么特别的需求，使用Java只是增加了实现复杂度。

——永不停止思考破折线———————————

我理解不使用EJB，只使用Container，如何实现高性能应用部署的疑问解答：

无外乎就是前面加一个proxy，后面是container server：Tomcat,Resin之类。对于单点服务器，使用两个,或者4个在后面跑，注意：如果使用APR之后，Tomcat可以直接使用Linux的Sendfile特性，根本不需要什么apache作为前端代理。让Tomcat直接放在前端就可以。

这里有人说，我一台服务器放两台Tomcat，来一个Seesion复制，我觉的没有必要，一个即可。如果你非要扩展，就需要增加服务器。这是针对APP应用，不是单纯的动态网站，不需要考虑细枝末节。多个几台服务器就是Cluster了。

那么什么是高性能呢？一、细读Tomcat关于Cluster的说明，提整参数。这就是高性能。前端加上一个lighty,ngix之类代理，你也可以实现在URL之间切换服务器（google也这么干）。

注意，这里少了Cache和后台数据库的架构，我这里不谈，因为已经有很多经典，看看Dba note’’s blog，搜索一下架构方面的文章。

这里，关于用上APR，对于WAR包要不断上传到多个webapps里，我感觉很啥，其实老外们也有考虑，Tomcat6好像也在考虑这方面的特性：即考虑上次部署，多点复制。但意义而在？我在思考。然后在痛苦的思考和挣扎中，我明白：WAR包是一个应用，它确切的说，不是数据，用共享的方式给多个应用来读，反而会有IO瓶颈。所以对于数据是应用类的，或者说直接就是软件，对我们没有价值的东西，直接复制就可以了。对于需要自动化部署，可能就需要自已开发一些小工具来满足了。Over!

选择合适的IO Scheduler，获得更高性能Mysql环境

coderchina — Sun, 20 Jul 2008 19:59:20 +0800

刚读一Mysql DBA写的文章受到提示，知道了Linux下的IO Scheduler的选择会在不同场景下，对Mysql有很大的提升。所以搞Mysql的读写的要注意这个小技巧，通过对不同Scheduler的读写测试，了解哪款Scheduler适合你。

注意Linux怎么着也要到2.6.x，有Raid卡，并且有最少4块硬盘的，要上到Raid10，注意是10。

Scheduler：
cfq
noop
deadline
anticipatory
原文中说noop性能更好，他正在作更多的尝试。这里场景不同，选择不同。但一个方法需要记住，那就是对于Scheduler要作尝试选择最优方案。