dengmin's blog 邓敏的窝

java-字节单位的换算

Mon, 12 Dec 2011 19:16:59 +0800

 public static String HumanFilesize(double size){
    	DecimalFormat df = new DecimalFormat("###.##");
    	String[] units = new String[]{"B","KB","MB","GB","TB","PB"};
    	double mod = 1024.0;
    	int i=0;
    	for (i = 0; size >= mod; i++) {
            size /= mod;
        }
    	return df.format(new Float(size).doubleValue())+units[i];
    }

public static void main(String[] args) {
		System.out.println(StringUtils.HumanFilesize(274947));
		
	}

输出： 268.5KB

E: 无法获得锁 /var/cache/apt/archives/lock - open (11: 资源暂时不可用)

Sat, 15 Oct 2011 13:30:13 +0800

现象
ubuntu现在使用的软件u源用的是163的镜像，不知道为什么今天的下载速度真的叫慢
然后我直接ctrl+c取消下载之后换上sohu的软件源进行apt-get update的时候就出现
E: 无法获得锁 /var/cache/apt/archives/lock - open (11: 资源暂时不可用)
E: 无法对目录 /var/cache/apt/archives/ 加锁

解决办法
sudo rm /var/cache/apt/archives/lock
sudo rm /var/lib/dpkg/lock

mysql编码问题

Sun, 09 Oct 2011 13:23:34 +0800

最近碰到mysql数据库编码的问题，在ubuntu下安装完mysql后，其默认的编码是latin1 。

在进行数据库操作时，如果数据包含中文，就会出现严重的乱码问题。

mysql的中文乱码真的是个头痛的问题。

下面就简单记录一下如何把latin1编码该成utf8

vi 编辑 mysql配置文件 /etc/mysql/my.cnf

分别在[client]和[mysqld]节点下添加

default-character-set = utf8

或者用mysql命令修改字符集

使用 mysql> SHOW VARIABLES LIKE 'character%'; 可以发现这里面的字符编码都是latin1

接着就是一个一个的修改字符集

SET character_set_client = utf8 ;

SET character_set_connection = utf8 ;

SET character_set_database = utf8;

....

修改完之后最好重启mysql

第二个问题是在删除数据库的时候出现这么一个问题

ERROR 1010 (HY000): Error dropping database (can't rmdir './jetspeed2', errno: 39)

这个问题也好解决切换到mysql的数据库目录

cd /var/lib/mysql

找到jetspeed2目录删除该目录下所有的文件 rm -fr jetspeed2/*

然后在mysql命令行中就可以正常的删除该数据库了 drop database jetspeed2

远程登陆ssh服务器太慢的问题

Wed, 14 Sep 2011 08:57:54 +0800

sshd在接受客户端链接的时候会反向解析客户端的ip以得到客户端的域名或主机名，

如果这个时候 DNS 的反向解析不正确，sshd 就会等到 DNS 解析超时后才提供 ssh 连接，

这样就造成连接时间过长、ssh 客户端等待的情况，一般为10-30秒左右。

要解决这个问题也不难。

vi /etc/ssh/sshd_config

在文件中查找UseDNS

没有的话自己加上，把它的值改为no

UseDNS no

重启ssh即可 /etc/init.d/ssh restart

参考 3.3 - ssh(1) takes a long time to connect or log in

[youflog]更新小记

Wed, 20 Jul 2011 15:06:50 +0800

这几天对youflog来了次更新，主要有一下几点：

添加了缓存使用的是pylibmc

后台的评论部分删除和标示是否为spam使用ajax的方式

后台文章管理删除文章使用的也是ajax

添加了清空缓存的小链接清空memcached的缓存和static/avator目录下面的头像文件

为了实现category的分级给Category model加另外一个parent字段

使用mptt组件来展现category树

Wap页面加入缓存

验证码加了线条和点来防止spam

还有一些页面元素的调整....

分类目录实现分级后的效果可以看看

---------------------------------------------------

在使用django的开发中越来越发现django的不灵活，以后有空的话用web.py+SQLAlchemy重写一遍

django中使用缓存pylibmc

Fri, 15 Jul 2011 14:48:09 +0800

pylibmc昨天已经安装好了，并且小试了一把。今天就想把pylibmc用到youflog中。

如果django的版本是1.2或者之前的话可以去下载django-pylibmc的组件并且安装起来

使用的方法也很简单在settings.py中配置

CACHE_BACKEND = 'django_pylibmc.memcached://localhost:11211?timeout=500&binary=1'

如果想使用pylibmc的behaviors,还需要配置这个参数

PYLIBMC_BEHAVIORS = {'tcp_nodelay': True, 'ketama': True}

这样就完成了对pyblicmc的配置

在程序中使用cache就方便了

from django.core.cache import cache

cache.set(key,value)
cache.get(key)
cache.delete(key)

然而在django升级到1.3的时候 pylibmc就已经被支持了，而且settings中的这个变量CACHE_BACKEND就已经被deprecated了

还有一些被depardcated的变量可以参考这里 Deprecated settings

取而带之的是CACHES变量该变量的值是一个字典类型

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
        'LOCATION': [
            '172.19.26.240:11211',
            '172.19.26.242:11211',
        ]
    }
}

当前需要使用的是pylibmc所以需要把上面的BACKEND替换成django.core.cache.backends.memcached.PyLibMCCache

pylibmc的behaviors 需要在CACHES添加一个OPTIONS 即可

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.memcached.PyLibMCCache',
        'LOCATION': '127.0.0.1:11211',
        'TIMEOUT':500,
        'OPTIONS':{
            'binary':1,
            'tcp_nodelay':True,
            'ketama':True
        },
    }
}

youflog中已经把缓存加上了，貌似比以前快了很多

拿福能千人大挑战

Fri, 15 Jul 2011 10:54:39 +0800

这几天才慢慢回复博客的更新，顺便走访了一写博友，发现都参加了拿福能千人挑战的送钱活动。

活动页面链接： http://www.nuffnang.com.cn/blog/2011/05/23/challenge-1000

博主人数达到1000人后，所有博主平分50000元，就是每个人有50元的收益。想参加的博主就赶快加入吧。

从活动链接可以看到此次活动是从5.23好开始的，人数已经达到645位了，看来要达到1000人还需要些日子。

各位踊跃一点吧

memcached的python客户端pylibmc安装与使用

Thu, 14 Jul 2011 16:37:17 +0800

memcache 昨天已经在本机上安装好了请看安装memcached

google了一下memcached的python库主要有一下几个

真对这些客户端的性能测试，有大虾已经测试过了

http://www.iteye.com/topic/341763

http://blog.sendapatch.se/2008/november/pylibmc-051.html

http://amix.dk/blog/viewEntry/19471

从各个测试的结果来看 python-memcached的性能最差，pylibmc的最好，而且cmemcache也还不错。

当然选择最好的这个库pylibmc,pylibmc是用c写的一个快速而且小巧的一个memcached客户端

下载pylibmc 下载地址 http://pypi.python.org/pypi/pylibmc#downloads

因为pylibmc是构建在libmemcached之上，所以还需要下载libmemcached

libmemcached的下载地址 http://libmemcached.org/libMemcached.html

怎么安装我就不说的 libmemcached的安装时按照那个三部曲来的 ./configure make make install

pylibmc 则是按照python库的安装 python setup.py install

ubuntu下安装就更简单：apt-get install python-pylibmc 当然它也会把libmemcached一快安装上的

接下来说说pylibmc的使用

创建一个memcached的连接

import pylibmc
>>> mc = pylibmc.Client(["127.0.0.1"], binary=True)
>>> mc.behaviors = {"tcp_nodelay": True, "ketama": True}

处理memcached缓存的基本方法

>>> mc["admin"] = "dengm"
>>> mc["admin"]
'Some value'
>>> del mc["admin"]
>>> "admin" in mc
False

当然这种写法一点也不符合我们的一贯写法，pylibmc还可以这样写

>>> mc.set("database", "mysql")
True
>>> value = mc.get("database")
>>> value
'mysql'
>>> mc.set("number", 33)
True
>>> mc.delete("number")
True
>>> mc.set("key", "1")
True

批量数据的操作

>>> mc.get_multi(["key", "another_key"])
{'key': '1'}
>>> mc.set_multi({"cats": ["on acid", "furry"], "dogs": True})
[]
>>> mc.get_multi(["cats", "dogs"])
{'cats': ['on acid', 'furry'], 'dogs': True}
>>> mc.delete_multi(["cats", "dogs", "nonextant"])
False

更多的api可以参考 http://sendapatch.se/projects/pylibmc/reference.html

接下来我打算把pylibmc也集成到youflog中来。看看集成了缓存的youflog能否快一点

安装memcached

Wed, 13 Jul 2011 15:24:49 +0800

现在许多web应用都是吧数据存放到数据库中，然后web应用从数据库中读取数据并将其显示到浏览器中。

但是随着访问量的增加，数据量的增大。就会给数据库造成负担，数据相应缓慢，浏览器显示延迟等问题。

这时候我们都会想到使用缓存。通过把数据库中查询的结果缓存起来，减少数据库的访问次数，来提高Web app的相应速度等。

其中memcached就是缓存中的皎皎者。

Memcached是danga.com（运营LiveJournal的技术团队）开发的一套分布式内存对象缓存系统，用于在动态系统中减少数据库负载，提升性能.

memcached作为高速运行的分布式缓存服务器，具有以下的特点。

协议简单
基于libevent的事件处理
内置内存存储方式
memcached不互相通信的分布式

memcached的服务器客户端通信并不使用复杂的XML等格式，而使用简单的基于文本行的协议。因此，通过telnet 也能在memcached上保存数据、取得数据.

libevent是个程序库，它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能封装成统一的接口。即使对服务器的连接数增加，也能发挥O(1)的性能。 memcached使用这个libevent库，因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。关于事件处理这里就不再详细介绍，可以参考Dan Kegel的The C10K Problem。

libevent: http://www.monkey.org/~provos/libevent/
The C10K Problem: http://www.kegel.com/c10k.html

安装Memcache

因为Memcached依赖 libevent库,所以在使用apt-get install memcached的时候也会把libevent一起装上

安装完成之后memcached就已经自动运行起来了

root@ubuntu:~# ps -ef |grep memcached

memcache 980 1 0 Jul12 ? 00:00:02 /usr/bin/memcached -m 64 -p 11211 -u memcache -l 127.0.0.1

root 5653 5641 0 15:37 pts/5 00:00:00 grep --color=auto memcached

root@ubuntu:~# ps -ef |grep memcache

memcache 980 1 0 Jul12 ? 00:00:02 /usr/bin/memcached -m 64 -p 11211 -u memcache -l 127.0.0.1

root 5653 5641 0 15:37 pts/5 00:00:00 grep --color=auto memcached

memcache监听tcp端口11211 而且最大的内存使用是64M

如果要作为后台进程启动只需加 -d 参数就行

/usr/bin/memcached -m 64 -p 11211 -u memcache -l 127.0.0.1 -d

这里需要说明一下memcached服务的启动参数：

-p 监听的端口
-l 连接的IP地址, 默认是本机
-d start 启动memcached服务
-d restart 重起memcached服务
-d stop|shutdown 关闭正在运行的memcached服务
-d install 安装memcached服务
-d uninstall 卸载memcached服务
-u 以的身份运行 (仅在以root运行的时候有效)
-m 最大内存使用，单位MB。默认64MB
-M 内存耗尽时返回错误，而不是删除项
-c 最大同时连接数，默认是1024
-f 块大小增长因子，默认是1.25-n 最小分配空间，key+value+flags默认是48
-h 显示帮助

许多语言都实现了memcached的客户端主要是以perl 和php为主

但是也有 java,python,ruby,c/c++等实现

接下来我会使用python的客户端来写点测试例子

pr为3了

Mon, 04 Jul 2011 10:36:26 +0800

很久没有更新博客了，很惭愧！

今天在7b.cn上无意间看到本域名的pr为3 ，当时心情也是有点鸡东，为了正实一下，登陆到51.la上去看了下

pr确实是3 而且更新的时间是 06.27号。

为此特用一文来留念一下无他。