DBA@Taobao

Linux下如何迁移VG及文件系统

流云 — Tue, 22 Jul 2008 14:51:44 +0800

在LINUX下，如果需要将一台主机上的文件系统迁移至另外一台主机上，并且文件系统是基于LVM创建的，那么可以使用VG导入导出功能将VG和LV在不同主机上迁移。

源主机上操作：

首先在源主机上将文件系统umount：

umount /u05

再将LV和VG inactive：

lvchange -an /dev/vg_u05/lv_u05
vgchange -an vg_u05

最后导出VG：

vgexport vg_u05

目标主机上操作：

导入VG：

vgimport vg_u05

激活VG，MOUNT 文件系统：

vgchange -ay vg_u05
mkdir /u05
mount /dev/vg_u05/lv_u05 /u05

Oracle 9i和10g在create index和rebuild index的统计信息的区别

江枫 — Tue, 22 Jul 2008 14:29:46 +0800

在9.2.0.6和10.2.0.4做了个小小的试验，演示9i和10g对于create index和rebuild index时统计信息的区别。这里列出试验的过程，由于结果比较明显，就懒得写太多文字做说明了。其中tbsql是一个常用脚本的集成环境，tbsql tabstat用户输出一个表以及列和索引的信息，其实就是关联dba_tables/dba_indexes/dba_tab_columns的一个查询。

先来看9.2.0.6的情况：

SQL> create table t as select * from all_objects;
Table created.

SQL> create index t_id on t(object_id);
Index created.

$tbsql tabstat t
           Table    Number           Empty  Average    Chain  Average
OWNER      Name    of Rows  Blocks  Blocks    Space    Count  Row Len
---------- ------ -------- ------- ------- -------- -------- --------
SYS        T

Column             Column                   Distinct
Name               Details                    Values Density
------------------ ------------------------ -------- -------
OWNER              VARCHAR2(30) NOT NULL
OBJECT_NAME        VARCHAR2(30) NOT NULL
SUBOBJECT_NAME     VARCHAR2(30)
OBJECT_ID          NUMBER(22) NOT NULL
DATA_OBJECT_ID     NUMBER(22)
OBJECT_TYPE        VARCHAR2(18)
CREATED            DATE NOT NULL
LAST_DDL_TIME      DATE NOT NULL
TIMESTAMP          VARCHAR2(19)
STATUS             VARCHAR2(7)
TEMPORARY          VARCHAR2(1)
GENERATED          VARCHAR2(1)
SECONDARY          VARCHAR2(1)

13 rows selected.

                        B                          Average     Average
Index                Tree  Leaf       Distinct Leaf Blocks Data Blocks Cluster
Name      Unique    Level  Blks           Keys     Per Key     Per Key  Factor
--------- --------- ----- ----- -------------- ----------- ----------- -------
T_ID      NONUNIQUE                                                    

Index     Column           Col Column
Name      Name             Pos Details
--------- --------------- ---- ------------------------
T_ID      OBJECT_ID                 1 NUMBER(22) NOT NULL

可以看到到表，列和索引都没有统计信息。

SQL> alter index t_id rebuild online compute statistics;
Index altered.

$tbsql tabstat t

        Table    Number           Empty  Average    Chain  Average
OWNER   Name    of Rows  Blocks  Blocks    Space    Count  Row Len
------- ------ -------- ------- ------- -------- -------- --------
SYS     T        25,420     348       0        0        0      100

Column            Column                    Distinct
Name              Details                     Values Density
----------------- ------------------------ --------- -------
OWNER             VARCHAR2(30) NOT NULL
OBJECT_NAME       VARCHAR2(30) NOT NULL
SUBOBJECT_NAME    VARCHAR2(30)
OBJECT_ID         NUMBER(22) NOT NULL         25,420       0
DATA_OBJECT_ID    NUMBER(22)
OBJECT_TYPE       VARCHAR2(18)
CREATED           DATE NOT NULL
LAST_DDL_TIME     DATE NOT NULL
TIMESTAMP         VARCHAR2(19)
STATUS            VARCHAR2(7)
TEMPORARY         VARCHAR2(1)
GENERATED         VARCHAR2(1)
SECONDARY         VARCHAR2(1)

13 rows selected.

                       B                     Average     Average
Index               Tree  Leaf  Distinct Leaf Blocks Data Blocks Cluster
Name     Unique    Level  Blks      Keys     Per Key     Per Key  Factor
-------- --------- ----- ----- --------- ----------- ----------- -------
T_ID     NONUNIQUE     1    56    25,420           1           1  22,731

Index   Column      Col Column
Name    Name        Pos Details
------- ---------- ---- ------------------------
T_ID    OBJECT_ID     1 NUMBER(22) NOT NULL

注意到表，object_id列和索引都有统计信息了

再来看10.2.0.4的情况

SQL> create table t as select * from all_objects;
Table created.

SQL> create index t_id on t(object_id);
Index created.

$tbsql tabstat t
           Table     Number           Empty  Average  Chain  Average
OWNER      Name     of Rows  Blocks  Blocks    Space  Count  Row Len
---------- ------- -------- ------- ------- -------- ------ --------
SYS        T

Column           Column                   Distinct
Name             Details                    Values Density
---------------- ----------------------- --------- -------
OWNER            VARCHAR2(30) NOT NULL
OBJECT_NAME      VARCHAR2(30) NOT NULL
SUBOBJECT_NAME   VARCHAR2(30)
OBJECT_ID        NUMBER(22) NOT NULL
DATA_OBJECT_ID   NUMBER(22)
OBJECT_TYPE      VARCHAR2(19)
CREATED          DATE NOT NULL
LAST_DDL_TIME    DATE NOT NULL
TIMESTAMP        VARCHAR2(19)
STATUS           VARCHAR2(7)
TEMPORARY        VARCHAR2(1)
GENERATED        VARCHAR2(1)
SECONDARY        VARCHAR2(1)

13 rows selected.

                      B                      Average     Average
Index              Tree   Leaf  Distinct Leaf Blocks Data Blocks  Cluster
Name    Unique    Level   Blks      Keys     Per Key     Per Key   Factor
------- --------- ----- ------ --------- ----------- ----------- --------
T_ID    NONUNIQUE     1     21     9,610           1           1      134

Index     Column        Col Column
Name      Name          Pos Details
--------- ------------ ---- ------------------------
T_ID      OBJECT_ID       1 NUMBER(22) NOT NULL

注意到表和列都没有统计信息，而索引有统计信息

SQL> alter index t_id rebuild online compute statistics;
Index altered.

$tbsql tabstat t
        Table     Number           Empty  Average   Chain  Average
OWNER   Name     of Rows  Blocks  Blocks    Space   Count  Row Len
------- ------- -------- ------- ------- -------- ------- --------
SYS     T

Column            Column                       Distinct
Name              Details                        Values Density
----------------- ------------------------ ------------ -------
OWNER             VARCHAR2(30) NOT NULL
OBJECT_NAME       VARCHAR2(30) NOT NULL
SUBOBJECT_NAME    VARCHAR2(30)
OBJECT_ID         NUMBER(22) NOT NULL
DATA_OBJECT_ID    NUMBER(22)
OBJECT_TYPE       VARCHAR2(19)
CREATED           DATE NOT NULL
LAST_DDL_TIME     DATE NOT NULL
TIMESTAMP         VARCHAR2(19)
STATUS            VARCHAR2(7)
TEMPORARY         VARCHAR2(1)
GENERATED         VARCHAR2(1)
SECONDARY         VARCHAR2(1)

13 rows selected.

                       B                       Average     Average
Index               Tree   Leaf   Distinct Leaf Blocks Data Blocks  Cluster
Name     Unique    Level   Blks       Keys     Per Key     Per Key   Factor
-------- --------- ----- ------ ---------- ----------- ----------- --------
T_ID     NONUNIQUE     1     21      9,610           1           1      134

Index      Column         Col Column
Name       Name           Pos Details
---------- ------------- ---- ------------------------
T_ID       OBJECT_ID        1 NUMBER(22) NOT NULL

注意到表和列还是没有统计信息，索引有统计信息。

应该说，10g的处理方式要更加合理一些。我只是alert index rebuild online compute statistics，9i却同时收集了表，列和索引的统计信息，这有点属于自做主张，而10g则正确的按照语法，只计算了索引的统计信息。有个时候，收集列的统计信息，可能导致执行计划选择错误，尤其是这个列是递增列的时候，一定要注意到9i和10g的这个差异。

如何转换RAC中RDS和UDP互联

流云 — Fri, 18 Jul 2008 14:44:36 +0800

配置基于Infiniband RDS内部互联方案的RAC时，需要重新build Oracle library。在操作之前需要先把整个RAC中的ASM实例和数据库实例都停止掉，然后进行BUILD：

$ cd $ORACLE_HOME/rdbms/lib
$ make -f ins_rdbms.mk ipc_rds ioracle

而将RDS切换回普通的UDP协议时，则比较简单：

$ cd $ORACLE_HOME/rdbms/lib
$ make -f ins_rdbms.mk ipc_g ioracle

Solaris安装RAC运行root.sh失败解决一例

流云 — Thu, 17 Jul 2008 14:42:45 +0800

前段时间一个朋友在安装Solaris上的RAC时，安装clusterware最后一步运行root.sh总是无法成功，报如下的错：

# ./root.sh WARNING: directory ‘/oracle/product/10.2′ is not owned by root
WARNING: directory ‘/oracle/product’ is not owned by root
WARNING: directory ‘/oracle’ is not owned by root
Checking to see if Oracle CRS stack is already configured
Setting the permissions on OCR backup directory
Setting up NS directories
Failed to upgrade Oracle Cluster Registry configuration r

看了一下crs的alert日志：

2008-07-01 23:51:53.642 [client(2216)]CRS-1006:The OCR location /oracle/OCR_A is inaccessible. Details i n /oracle/product/10.2/cluster/log/db1/client/ocrconfig_2216.log. 2008-07-01 23:51:53.807 [client(2216)]CRS-1001:The OCR was formatted using version 2.

细看/oracle/product/10.2/cluster/log/db1/client/ocrconfig_2216.log：

Oracle Database 10g CRS Release 10.2.0.1.0 Production Copyright 1996, 2005 Oracl e. All rights reserved. 2008-07-01 23:51:53.612: [ OCRCONF][1]ocrconfig starts… 2008-07-01 23:51:53.612: [ OCRCONF][1]Upgrading OCR data 2008-07-01 23:51:53.630: [ OCRRAW][1]propriogid:1: INVALID FORMAT 2008-07-01 23:51:53.631: [ OCRRAW][1]ibctx:1:ERROR: INVALID FORMAT 2008-07-01 23:51:53.631: [ OCRRAW][1]propri

发现在格式化OCR的盘时出错。第一个反应是祼设备权限的问题，折腾几次后发现这个并不存在问题。最终定位到问题是由于ocr和voting disk对应的祼设备用了cylinder 0，而Solaris上祼设备的cylinder 0是要预留给系统使用的，因此才会导致格式化OCR失败。解决办法便是重建OCR和VOTING DISK对应的祼设备，跳过CYLINDER 0。

RAC中如何更改对外网卡和内部互联网卡的配置、IP及VIP

流云 — Wed, 16 Jul 2008 11:41:00 +0800

在RAC环境中，有时候由于需要会更改网卡或IP地址，这边简单记录一下操作步骤（参考metalink文档：283684.1）。
1、查看当前PUBLIC网卡和PRIVATE网卡的配置：

test1:/home/oracle>$oifcfg getif
eth1 10.0.100.0 global cluster_interconnect
eth0 172.19.20.0 global public

2、更改PUBLIC网卡或者IP：
比如我们需要将PUBLIC网卡从eth0改为bond0，IP地址由172.19.20.0 改为172.13.20.0 。那么首先必须用oifcfg delif 命令删除原先的PUBLIC网卡设置，然后再用oifcfg setif 命令更改网卡及IP配置，这步只要在任意一个节点执行就可以了。（注意：在更改PUBLIC或者PRIVATE网卡及IP之前都需要将RAC中的资源停止，可以使用crs_stop -all来停止）

test1:/home/oracle>$oifcfg delif -global eth0
test1:/home/oracle>$oifcfg setif -global bond0/172.13.20.0:public

再查看可以看到PUBLIC网卡及IP都更改过来了：

test1:/home/oracle>$oifcfg getif
eth1 10.0.100.0 global cluster_interconnect
bond0 172.13.20.0 global public

3、更改PRIVATE网卡或者IP：
这一步和更改PUBLIC网卡大同小异，比如说我们需要将PRIVATE网卡从eth1改为ib1：

test1:/home/oracle>$oifcfg delif -global eth1
test1:/home/oracle>$oifcfg setif -global ib1/10.1.0.0:cluster_interconnect

4、更改VIP配置：
更改PUBLIC网卡后，那么RAC各个节点的VIP必须重新配置，以便CRS知道VIP对应PUBLIC网卡名称的变更（注意：更改VIP的配置必须以root用户来更改）：

test1:/home/oracle>$srvctl modify nodeapps -n test1 -A 172.13.20.1/255.255.255.0/bond0

这样执行完以后，整个更改便完成了。

从业务上优化系统

胜通 — Tue, 15 Jul 2008 15:08:11 +0800

某些时候，如果从语句的本身上来说，已经很难优化了。如我们电子客票系统中有一个查询语句就是如此。我不便写出语句，但是我可以还原场景给大家看看。
我们的电子客票系统中，在首页有个特价机票展示区域，如下所示：

当我们点击“更多单程特价票”/“更多往返特价票”的时候，会转到如下的结果list分页页面：

这个里面就显示了所有的单程特价票或者是往返特价票，默认根据特价票最近被修改时间来排序。
我们现在来分析一下这个业务的合理性，或者说这种展示方式存在的必要性。
用户从首页的特价展示区中点击更多进入此list页面，看到的是所有的特价机票，通常来说，这对用户是没有必要的。因为，一般来说用户不会去关心整个中国的所有的特价机票，他们一般只会关心自己所在的城市的特价机票，或者是自己要去的某个城市的特价机票。比方说我人在杭州，要去北京，我想要看的肯定是从杭州出发的特价机票，最好是直接能看到从杭州出发到北京的特价机票，或者是想看从北京出发到杭州的特价机票，因为我要回来。我根本不会去关心从合肥到香港的特价机票，因为这对我来说没有意义。基于以上推理中的大部分用户行为，全部特价机票的首页信息几乎没用，更不会去点第二页，第三页，而是去重新从输入框中输入相关的起飞城市等信息后查询。
从以上的分析中，我与开发人员以及产品经理等讨论，最终说服他们。在用户点击“更多……”时的行为上，增加一个判断，根据用户的IP判断用户所在城市（或离其最近的有机场的城市），然后默认显示这个城市的特价机票，即把原来的“所有城市”变成“所在城市”，在美化上，开发做了些变更，最终特价机票显示页变成了如下这种形式：

这种从业务角度的优化，带来了如下的好处：
1、用户点击“更多……”时刻，所执行的sql语句得到了大大的优化，逻辑读从3w左右降至300以内甚至几十。
2、本来显示所有特价机票的无用信息，被更换成显示用户所在城市的特价机票信息，绝大多数情况下，恰好提供了用户所需的有用信息，提高了用户体验。
3、以前，用户进入所有特价机票首页后，一般情况下要自己重新输入条件搜索自己所在城市特价机票信息，浪费了大量的用户劳动力；优化后，这批劳动力亦节省下来。
另，欢迎大家来淘宝网预定机票和酒店

mysql的参数变量

胜通 — Thu, 10 Jul 2008 17:21:41 +0800

mysql服务器的系统变量,mysql server system viriables，其实我更愿意叫它为“系统参数”！
每一个系统变量都有一个默认值，这个默认值是在编译mysql系统的时候确定的。对系统变量的指定，一般可以在server启动的时候在命令行指定选项或者通过选项文件来指定，当然，大部分的系统变量，可以在系统的运行时，通过set命令指定其值。
mysql的系统参数（系统变量）一共分为2类，全局变量（global variables）和会话变量（session variables），它们的含义与区别如其各占的名称所示。session variables是在session级别的，对其的变更只会影响到本session。global variables是系统级别的，对其的变更会影响所有新session（变更时已经存在session不受影响）至下次mysql server重启动，注意它的变更影响不能跨重启，要想再mysql server重启时也使用新的值，那么就只有通过在命令行指定变量选项或者更改选项文件来指定，而通过SET变更是达不到跨重启的。

当系统启动是，它会初始化所有的global变量为它们对应的默认值，这些默认值可以通过命令行指定选项或者选项文件来改变。当一个新的连接建立后，系统也会初始化一批session变量，把它们的值初始化对应的系统变量的值。可见任何一个session变量都有一个global变量与其对应，但是未必每个global变量都有对应的session变量。
系统变量的变更，如果它的值是数字的，你可以通过简化使用K/M/G作为单位来指定。下面就来介绍一下几种变更系统变量的方法：
1、在mysql server启动的时候，命令行选项中指定

mysqld --query_cache_size=16M --max_allowed_packet=1G

2、在mysql server启动的时候，通过选项文件中指定

[mysqld]
query_cache_size=16M
max_allowed_packet=1G

如果你想限制某个变量的最大值，那么在系统启动的时候通过–maximum-var_name=value方式来指定，如果假设我要限制max_allowed_packet最多设置为4G，那么我只需要通过1、2方法指定：–maximum_allowed_packet=4G,就可以了，这样在后面的动态改动中，都无法指定大于4G。
3、在mysql server运行的时候，通过SET命令动态指定
有很多的系统变量，都可以在mysql server运行时，通过SET命令来动态指定她的值，这样的系统变量，我们又称之为“动态系统变量”（Dynamic System Variables）。
我们首先来看看SET命令的语法：

SET variable_assignment [, variable_assignment] …
variable_assignment:
user_var_name = expr
| [GLOBAL | SESSION] system_var_name = expr
| [@@global. | @@session. | @@]system_var_name = expr

i）：如果要修改global系统变量值，你必须要显示指定“GLOBAL”或者“@@global.”，同时注意，你必须要有SUPER权限。
ii）：如果要修改session变量值，可以指定“SESSION”或者“@@session.”或者“@@”或者“LOCAL”或者“@@local.”，或者什么都不使用。

有没有办法，将session变量值设置为对应的global变量值呢？有，采用如下方式：

SET @@session.var_name=@@global.var_name;

有没有办法，将session变量值设置为mysql编译时候的默认值呢？有，采用如下方式：

SET var_name=DEFAULT;

这里要注意的是，并不是所有的系统变量都能被设置为DEFAULT，如果你设置这些变量为DEFAULT则会返回错误。

上面说了如何设置变量，下面来介绍如何查询变量。
1、使用SELECT @@global.var_name等来查询。

这里要注意的是，如果你查询session变量的值，如果没有这个session设置了值则返回其值，如果没有设置则其对应的global变量的值，这里与SET的时候是不一样滴。
2、使用SHOW VARIABLES语法：

SHOW [GLOBAL | SESSION] VARIABLES
[LIKE ‘pattern’ | WHERE expr]

部署Linux系统的网络自动安装

松溪 — Tue, 08 Jul 2008 21:29:54 +0800

部署比较简单,开启如下服务( dhcpd,tftp,nfs,portmap ) 再修改几个配置文件就可以;

一, 开启dhcp服务
修改/etc/dhcpd.conf 文件,修改网络ip信息就可以,然后重启dhcpd服务;
#ddns-update-style interim; ddns-update-style ad-hoc; ignore client-updates; allow booting; allow bootp; option nis-domain "domain.org"; #option domain-name "pxeserver"; option time-offset -18000; # Eastern Standard Time default-lease-time 1000; max-lease-time 1600;


subnet 10.9.200.0 netmask 255.255.255.0 {

        option routers                  10.9.200.247;

        option subnet-mask              255.255.255.0;

        option domain-name-servers      111.0.25.132;
        range dynamic-bootp 10.9.200.201 10.9.200.211;

filename "linux-install/pxelinux.0"; }
二, 开启tftp服务

开启服务的命令: chkconfig xinetd on , chkconfig tftp on
修改/tftpboot/linux-install/pxelinux.cfg/default 文件;
解释:dba_rhel4u5_x86_64 是配置名称
解释:label dba_rhel4u5_x86_64 是配置具体内容
解释:kernel rhel4-u5-x86_64/vmlinuz 是指/tftpboot/linux-install/rhel4-u5-x86_64/vmlinuz
解释:rhel4-u5-x86_64/initrd.img 是指/tftpboot/linux-install/rhel4-u5-x86_64/initrd.img
解释:/home/os/rhel4-u5-x86_64/ks.cfg.dba 编辑kickstart文件; 默认口令是 hello123

default dba_rhel4u5_x86_64 prompt 1 timeout 30 display msgs/boot.msg F1 msgs/boot.msg F2 msgs/general.msg F3 msgs/expert.msg F4 msgs/param.msg F5 msgs/rescue.msg F7 msgs/snake.msg

label dba_rhel4u5_x86_64 kernel rhel4-u5-x86_64/vmlinuz append ks=nfs:10.9.200.151:/home/os/rhel4-u5-x86_64/ks.cfg.dba ksdevice=eth0 initrd=rhel4-u5-x86_64/initrd.img devfs=nomount ramdisk_size=16384 nofb
Kickstart文件如下:
cat /home/os/rhel4-u5-x86_64/ks.cfg.dba
# ks.cfg.app # kickstart file for search server #Generated by Kickstart Configurator


#System  language

lang en_US

#Language modules to install

langsupport zh_CN.GB18030 --default=en_US

#System keyboard

keyboard us

#System mouse

mouse generic3ps/2

#Sytem timezone

timezone Asia/Shanghai

#Root password

rootpw --iscrypted $1$UHlWseBT$Bbyz7d/cVx5Is2ojBKWVO/

#Reboot after installation

reboot

#Install Red Hat Linux instead of upgrade

install

#Use NFS installation Media

nfs --server=10.9.68.250 --dir=/home/os/rhel4-u5-x86_64

#System bootloader configuration

bootloader --location=mbr

#Clear the Master Boot Record

zerombr yes

#Partition clearing information

clearpart --all --initlabel

#Disk partitioning information

part /boot --fstype ext3 --size 128   --asprimary   --ondisk cciss/c0d0

part swap                --size 16384  --asprimary  --ondisk cciss/c0d0

part /     --fstype ext3 --size 1  --grow           --ondisk cciss/c0d0

part /u01  --fstype ext3 --size 1 --grow           --ondisk cciss/c0d1

#System authorization infomation

auth  --useshadow  --enablemd5

#Network information

network --bootproto=dhcp --device=eth0

#Firewall configuration

firewall --disabled

selinux  --disabled

#Do not configure XWindows

skipx

#Package install information

%packages --resolvedeps

@ everything

#%pre

#mkdir /mnt/temp-pre

#mount -o nolock 10.9.19.222:/opt/iso/rhel4-u4 /mnt/temp-pre

#open -s -w -- /mnt/temp/preinst.sh

#umount /mnt/temp-pre

#%post #umount /mnt/temp
三,开启nfs,portmap 两个服务,用chkconfig命令;
编辑 /etc/exports 添加一行记录;
/home/os *(ro,sync)

四, 安装文件与Kickstart文件
find /home/os
/home/os
/home/os/rhel4-u5-x86_64
/home/os/rhel4-u5-x86_64/RHEL4-U5-x86_64-AS-disc4.iso
/home/os/rhel4-u5-x86_64/RHEL4-U5-x86_64-AS-disc1.iso
/home/os/rhel4-u5-x86_64/md5.txt
/home/os/rhel4-u5-x86_64/RHEL4-U5-x86_64-AS-disc5.iso
/home/os/rhel4-u5-x86_64/RHEL4-U5-x86_64-AS-disc3.iso
/home/os/rhel4-u5-x86_64/RHEL4-U5-x86_64-AS-disc2.iso
/home/os/rhel4-u5-x86_64/ks.cfg.dba

完成以上步骤就完成了在本地网段通过网络自动安装linux系统的配置; 启动hp服务器,按 F12 选择网络启动就可以;

五, 附录(hp ilo 远程控制卡的使用)
ilo 远程控制卡默认都是配置了admin用户口令是:xx
ilo 的默认ip地址都是相应网段的 xxx.xxx.0.xxx; 例如: 10.9.68.125 的远程控制卡ip就是 10.9.0.125;
在windows的ie界面输入ip地址就能打开界面;

mysql连接通道中的字符集和校验规则

胜通 — Tue, 08 Jul 2008 21:11:45 +0800

这里首先需要解释的是，我想应该就是连接通道的含义了。那什么是连接通道呢？
所谓连接通道，就是客户端和服务器端保持连接的一个通道，它是逻辑上的一个概念。客户端通过连接通道发送sql语句到服务器端，服务端执行，将结果再通过连接通道返回至客户端。the connection is the pass when you connect to the server.

这个过程中，有几个临界点（逻辑上概念），是我们需要注意的，mysql也就在这几个临界点上做了文章。

1、当语句离开客户端的时候：
从客户端出来的，包括sql语句本身（这里里面就包含字符串和关键字等了），以及character_set_client系统变量。为什么要包含这个变量呢？这个变量的作用说明2点，也是它的作用：一是表示该语句中的字符集是使用character_set_client指定的字符集编码的，二是通过此系统变量来告诉服务器所发送来的语句中的字符集编码。
2、当服务器端接受到客户端的语句的时候：
mysql会使用character_set_connection/collation_connection指定的字符集以及校验规则，将客户端的字符串，做一个从character_set_client到character_set_connection的转换。
3、当服务器处理好结果以后，在把结果传给客户端前：
mysql会先将结果转换成character_set_results指定的字符集，然后传回给客户端。

当字符串在mysql服务器的时候，最终以什么格式存储到mysql数据库中，这个是受到具体的数据表级别、列级别字符集设置的控制了。

从上面的介绍中，我们就知道和连接通道相关几个参数了，他们分别是character_set_client/connection/results，可以如下查看：

下面我们来做个实验，来证明一下这个结果：
首先保证character_set_connection与character_set_results以及底层存储字符集的一致性，看看character_set_client的效果。

mysql> show variables like 'char%';
+--------------------------+------------------+
| Variable_name | Value |
+--------------------------+------------------+
| character_set_client | latin1 |
| character_set_connection | gbk |
| character_set_database | gbk |
| character_set_results | gbk |
| .........................| ...... |
+--------------------------+------------------+
8 rows in set (0.00 sec)

mysql> create table t (a varchar(10)); -- 这里没有指定字符集，就默认使用了database的字符集gbk了
Query OK, 0 rows affected (0.08 sec)

mysql> insert into t values('中国');
Query OK, 1 row affected (0.00 sec)

mysql> select * from t;
+-------+
| a |
+-------+
| ???ú |
+-------+
1 row in set (0.00 sec)

由此可以看到由于latin1与gbk对汉字的编码方式不一样（或者说latin1根本就不能正确编码汉字），在这个collection过程中，从character_set_client到character_set_connection转换时，就把你输入的好好的汉字转换成乱码了。那么，如果让过程不发生转换呢？

mysql> set character_set_client=gbk;
Query OK, 0 rows affected (0.00 sec)

mysql> insert into t values('人民');
Query OK, 1 row affected (0.02 sec)

mysql> select * from t;
+-------+
| a |
+-------+
| ???ú |
| 人民 |
+-------+
2 rows in set (0.00 sec)

可见，这里是能正确存储和显示的，很简单，因为任何转换都没有发生，当然就不会出现乱码了。

接着做实验，我们让character_set_connection发生变化：

mysql> set character_set_connection=latin1;
Query OK, 0 rows affected (0.00 sec)

mysql> insert into t values ('共和国');
Query OK, 1 row affected (0.00 sec)

mysql> select * from t;
+-------+
| a |
+-------+
| ???ú |
| 人民 |
| ??? |
+-------+
3 rows in set (0.00 sec)

可见，这里character_set_client=gbk,character_set_connection=latin1,character_set_database=gbk。首先，client到connection过程中，汉字被转换成乱码（这个过程可能就会丢失信息）；然后存储数据的时候，又从connection到存储的字符集（gbk）发生一次转换，乱码被转换成“更”乱码。这里如果connection与client的字符集有种包容性关系的话，如character_set_client=gbk, character_set_connection=utf8,character_set_results=gbk,底层存储也是gbk编码，由于utf8“兼容”所有的字符集，故在转换过程中不会发生信息丢失，查询的时候也不会是乱码，如下：

mysql> show variables like 'char%';
+--------------------------+-----------------+
| Variable_name | Value |
+--------------------------+-----------------+
| character_set_client | gbk |
| character_set_connection | utf8 |
| character_set_database | gbk |
| character_set_results | gbk |
| .........................| ...... |
+--------------------------+-----------------+
8 rows in set (0.00 sec)

mysql> create table t (a varchar(10)) charset=gbk;
Query OK, 0 rows affected (0.05 sec)

mysql> insert into t values('中国');
Query OK, 1 row affected (0.00 sec)

mysql> select * from t;
+------+
| a |
+------+
| 中国 |
+------+
1 rows in set (0.00 sec)

我来解释一下这个过程，假设“中国”的gbk编码是1234，而utf8的编码是4321，utf8的编码为1234的假设是“淘宝”。client的“中国”的编码1234进入connection，仍然是1234（但实际上它的含义已经发生变化为“淘宝”），存储的时候connection的1234编码到表存储也是1234，刚好正确表达了“中国”的意思，查询返回时，由于results也是gbk，所以不发生转换，正确显示。很显然，如果results又是一种与gbk不兼容的字符集如latin1，查询又会出问题，如下：

mysql> set character_set_results=latin1;
Query OK, 0 rows affected (0.00 sec)

mysql> select * from t;
+------+
| a |
+------+
| ?? |
+------+
1 rows in set (0.00 sec)

当我们改变底层存储的字符集的时候，会怎样？请看如下实验：

mysql> show variables like 'char%';
+--------------------------+---------------+
| Variable_name | Value |
+--------------------------+---------------+
| character_set_client | gbk |
| character_set_connection | gbk |
| character_set_database | gbk |
| character_set_results | gbk |
| .........................| ...... |
+--------------------------+---------------+
8 rows in set (0.01 sec)

mysql> create table t (a varchar(10)) charset=latin1;
Query OK, 0 rows affected (0.05 sec)

mysql> insert into t values('淘宝');
Query OK, 1 row affected, 1 warning (0.02 sec)

mysql> select * from t;
+------+
| a |
+------+
| ?? |
+------+
1 row in set (0.00 sec)

很显然，由于latin1字符集无法存储汉字，故出现乱码。
下面，我们只改变results字符集，看看效果如何：

mysql> show variables like 'char%';
+--------------------------+----------------+
| Variable_name | Value |
+--------------------------+----------------+
| character_set_client | gbk |
| character_set_connection | gbk |
| character_set_database | gbk |
| character_set_results | latin1 |
| .........................| ...... |
+--------------------------+----------------+
8 rows in set (0.00 sec)

mysql> create table t (a varchar(10)) charset=gbk;
Query OK, 0 rows affected (0.08 sec)

mysql> insert into t values('淘宝');
Query OK, 1 row affected (0.00 sec)

mysql> select * from t;
+------+
| a |
+------+
| ?? |
+------+
1 row in set (0.00 sec)

很显然，底层为gbk编码的字符串转换成latin1的字符集的字符，变成乱码，传给客户端，再次转换成gbk字符集，变成“更”乱码，故显示乱码。

下面，我再介绍几个“简约”命令。
SET NAMES ‘x’，(SET NAMES ‘charset_name’ COLLATE ‘collation_name’)相当于：

SET character_set_client = x;
SET character_set_results = x;
SET character_set_connection = x;

实验如下：

SET CHARACTER SET ‘x’,相当于：

SET character_set_client = x;
SET character_set_results = x;
SET collation_connection = @@collation_database;

这里collation_connection = @@collation_database的意思就是把collation_connection的设置的collation_database的值，由于collation肯定能确定character set，故其又相当于多做了个设置：把character_set_connetion设置成character_set_database的值。请看如下实验：

通过以上的介绍，所以为了防止出现乱码，我们可以把character_set_client,character_set_connection,character_set_database,character_set_results设置成同样的值，把collation_connection和collation_database也设置成同样的值，这样就“一劳永逸”了。程序连接mysql的时候，一般都会显示设置character_set_client的值，如java连接中，一般都有如下的一段代码来显示设置这个值：

jdbc:mysql://10.1.6.174:3306/notify?connectTimeout=1000&characterEncoding=utf8

MySQL如何获取当前执行的SQL

江枫 — Mon, 07 Jul 2008 14:16:54 +0800

在MySQL的客户端中通过show [full] processlist可以看到当前所有线程，以及线程的状态，当然也包括执行中的sql，但是显示的语句不完全，并且有很多空闲线程会造成干扰。

这里要介绍一个非常好用的开源工具innotop（sourceforge已经被墙了，要过去先找梯子），由于是用perl写的，所以需要安装相关的perl模块，包括DBI，DBD::mysql，Term::ReadKey和Time::HiRes，这些模块都可以到CPAN找到。

用innotop的Q模式则可以完美的解决获取当前运行的SQL的问题。innotop -m Q 或者innotop进入后再按shift+q进入Query list模式：

Query List (? for help) mysql01, 75+03:16:16, 774.20 QPS, 83 thd, 5.1.24-rc-log

CXN    When   Load  QPS     Slow  QCacheHit  KCacheHit  BpsIn    BpsOut
my120  Now    0.00  774.20     0     40.22%    100.00%  207.98k    1.46M
my120  Total  0.00  212.69     2     29.70%    100.00%   56.90k  402.15k

CXN     Cmd    ID      User    Host           DB      Time   Query
mysql01   Query   20936  poster  192.168.1.1    poster  00:00  select a.poster_id,
a.pic_id, a.gmt_create, a.gmt_modified, a.url, a.no

然后按e并输入thread ID显示执行计划或者按f显示完整sql语句，或者按o显示系统优化过的语句（需要MySQL的版本支持EXPLAIN EXTENDED）。个人感觉，还是e最有用，其他两个选项，则有点鸡肋了。

Query List (? for help)  mysql01, 75+03:16:16, 774.20 QPS, 83 thd, 5.1.24-rc-log
EXPLAIN PARTITIONS
select a.poster_id, a.pic_id, a.gmt_create, a.gmt_modified, a.url, a.notes,
a.type, a.indexed, a.user_id, a.user_nick, b.pic_path from poster.poster_pic a
inner join poster.picture b on (a.pic_id = b.id) where a.poster_id = 3390
order by a.indexed
______________ Sub-Part 1 ______________  ________ Sub-Part 1 ________
Select Type: SIMPLE                       Select Type: SIMPLE
      Table: a                                  Table: b
 Partitions:                               Partitions:
       Type: ref                                 Type: eq_ref
 Poss. Keys: PRIMARY                       Poss. Keys: PRIMARY
      Index: PRIMARY                            Index: PRIMARY
 Key Length: 4                             Key Length: 8
  Index Ref: const                          Index Ref: poster.a.PIC_ID
  Row Count: 14                             Row Count: 1
    Special: Using where; Using filesort      Special:                

Press e to explain, f for full query, o for optimized query

Query List (? for help)  mysql01, 75+03:16:16, 774.20 QPS, 83 thd, 5.1.24-rc-log
select a.poster_id, a.pic_id, a.gmt_create, a.gmt_modified, a.url, a.notes,
a.type, a.indexed, a.user_id, a.user_nick, b.pic_path from poster.poster_pic a
inner join poster.picture b on (a.pic_id = b.id) where a.poster_id = 3390
order by a.indexed

Press e to explain, f for full query, o for optimized query

Query List (? for help)  mysql01, 75+03:16:16, 774.20 QPS, 83 thd, 5.1.24-rc-log
select a.poster_id, a.pic_id, a.gmt_create, a.gmt_modified, a.url, a.notes,
 a.type, a.indexed, a.user_id, a.user_nick, b.pic_path from poster.poster_pic a
 inner join poster.picture b on (a.pic_id = b.id) where a.poster_id = 3390
order by a.indexed

Note:
select `poster`.`a`.`POSTER_ID` AS `poster_id`,`poster`.`a`.`PIC_ID` AS
`pic_id`,`poster`.`a`.`GMT_CREATE` AS `gmt_create`,`poster`.`a`.`GMT_MODIFIED`
AS `gmt_modified`,`poster`.`a`.`URL` AS `url`,`poster`.`a`.`NOTES` AS
`notes`,`poster`.`a`.`TYPE` AS `type`,`poster`.`a`.`INDEXED` AS
`indexed`,`poster`.`a`.`USER_ID` AS `user_id`,`poster`.`a`.`user_nick` AS
`user_nick`,`poster`.`b`.`PIC_PATH` AS `pic_path`
from `poster`.`poster_pic` `a`  join `poster`.`picture` `b`
 where ((`poster`.`b`.`ID` = `poster`.`a`.`PIC_ID`)
and (`poster`.`a`.`POSTER_ID` = 3390)) order by `poster`.`a`.`INDEXED`

Press e to explain, f for full query, o for optimized query

那么innotop是从哪里取的数据呢？应该是通过information_schema.processlist来获得完整的sql语句，并且根据COMMAND来过滤掉空闲线程的。

mysql> desc information_schema.processlist;
+---------+-------------+------+-----+---------+-------+
| Field   | Type        | Null | Key | Default | Extra |
+---------+-------------+------+-----+---------+-------+
| ID      | bigint(4)   | NO   |     | 0       |       |
| USER    | varchar(16) | NO   |     |         |       |
| HOST    | varchar(64) | NO   |     |         |       |
| DB      | varchar(64) | YES  |     | NULL    |       |
| COMMAND | varchar(16) | NO   |     |         |       |
| TIME    | bigint(7)   | NO   |     | 0       |       |
| STATE   | varchar(64) | YES  |     | NULL    |       |
| INFO    | longtext    | YES  |     | NULL    |       |
+---------+-------------+------+-----+---------+-------+
8 rows in set (0.00 sec)