AnySQL.net

WebChart的JSON格式输出

anysql — Fri, 09 Dec 2011 12:51:08 +0800

WebChart增加JSON格式输出，可以将查询结果以JSON格式的文本进行输出，直接作为ExtJS的Ext.data.Store的输入. 页面(jsontest.rhtml)定义如下:

webchart.doctype=json

webchart.query_1=select empno, ename from emp order by empno

用浏览器访问页面时，返回JSON格式的纯文本.

{
“metaData”:
{
“root”: “rows”,
“fields”: [
{"name": "empno", "type": "int"},
{"name": "ename"}],
“remoteSort”: true
},
“rows”:
[
{
"empno": 1,
"ename": "Lou Fangxin"
},
{
"empno": 2,
"ename": "Zhi Qiong"
}
]
}

在ExtJS 4中可以直接用如下代码，得到一个Store类型变量.

Ext.define(‘mydata’, {extend: ‘Ext.data.Model’});
var store2 = Ext.create(‘Ext.data.Store’,
{model: ‘mydata’, proxy:{type: ‘ajax’, url: ‘sampledata.txt’, reader: {type: ‘json’}}});

然后用ExtJS进行表格输出或者画图，将数据接口直接交给WebChart来方便地处理.

Relative Posts:

多个测试环境的表结构同步

anysql — Tue, 19 Apr 2011 13:57:04 +0800

一个复杂系统往往会有几套开发测试环境，对于开发DBA或测试环境DBA来讲，维护这些环境之间的同步是一个比较烦琐的事情。在2005年时，曾和当时的三个同事，花了足足三天时间来手工同步两个环境的表结构差异，最后促使我去开发一个表结构自动同步工具，现在是对那个工具的进一步升级。

– GetDDL: DDL Script Generator for Oracle, Release 3.0.1
– (@) Copyright Lou Fangxin (AnySQL.net) 2010, all rights reserved.
– Oracle Data Recovery, System Tuning and Monitoring and Tuning Service

Usage: ocidiff fromuser=… touser=… file=…

Options:
fromuser — Source Connection String
fromschema — Source Schema to Switch
touser — Destination Connection String
toschema — Destination Schema to Swith
tstab — Tablespace for Tables
tsind — Tablespace for Indexes
sync — Sync List (ALL,SEQUENCE,TABLE,INDEX,VIEW,SOURCE,COMMENT)
file — Output Script File Name
log — SQL*Plus Spool log file name
auto — Automaticall call SQL*Plus to sync(YES)

上面的命令行选项，对于DBA来讲应当都比较容易理解，就不一个一个讲了。File和Log选项有一些特殊的设置，指定文件名时可以用%Y来表示年份，用%M来表示月份，同理用%D来表示日期，以便给自动同步工具留下足够的运行日志。

ocidiff …… file=scott_%%y%%m%%d.sql log=scott_%%y%%m%%d.log …

运行时加上”AUTO=YES”选项，会自动调用SQL*Plus连接到远程库上执行，执行后会留带日期的SQL和日志文件。

D:\ocidiff>dir /b scott_*
scott_20110419.log
scott_20110419.sql

对于生成的自动同步SQL的脚本准确性，还需要进行大量的测试及进一步的改进，下载试试吧。

Relative Posts:

2009/02/05 -- 导出时如何统一表空间? (2)
2008/06/23 -- 根据表名搜索SQL语句 (0)
2008/05/26 -- ASSM表空间真浪费 (6)
2008/05/15 -- 将dmp数据导入到另一个表 (3)
2008/03/13 -- 如何防止大的DML语句? (3)
2008/03/04 -- ocidiff助力51job日常维护 (6)
2008/03/03 -- 先报身高? 还是体重? (4)
2008/02/14 -- Rename Table的语法 (0)
2007/12/24 -- Get DDL工具 (7)
2007/12/11 -- 删除4TB的表 (5)

AUL for Oracle ASM数据恢复测试

anysql — Mon, 18 Apr 2011 15:15:00 +0800

创建了一个跨越在两个盘中的Oracle ASM表空间，并在上面建了一个有49万条记录的表，用来进行ASM恢复测试。

SQL> select disk_number, name,path from v$asm_disk;

DISK_NUMBER NAME PATH
———– —————- ——————————
0 TEST_0000 D:\ORACLEASM\FILE01.ASM
1 TEST_0001 D:\ORACLEASM\FILE02.ASM

SQL> create table emp_asm tablespace asmdemo as
2 select * from emp_bak where rownum < 500000;

第一次测试是在两个ASM盘都在的情况，应当可以恢复出49万条记录才是准确的，先从ASM中恢复出Oracle数据文件。

ASM> disk disk.txt
2 ASM disks opened.
—- ———————————–
0 d:\oracleasm\file01.asm
1 d:\oracleasm\file02.asm
ASM> scan
RFN File Size Blocks
—- ————— —– ——–
5 aulasm_0005.dbf 25 3079
ASM> create file aulasm_0005.dbf size 26
ASM> open rfn 5 file aulasm_0005.dbf
RFN File
—- ———————————————————
5 aulasm_0005.dbf
ASM> restore
Restore by ASM extent map file.

然后在AUL中进行数据恢复，确认是不是恢复出全部49万条记录。

AUL> unload object 13456 to 13456.txt;
2011-04-18 14:52:45
Sucessfully unload 499999 rows …
2011-04-18 14:53:05

第二次测试中丢失了第二块盘，应当可以恢复出大约一半的记录才是对的，先从ASM中恢复出Oracle数据文件。

ASM> disk disk.txt
1 ASM disks opened.
—- ———————————–
0 d:\oracleasm\file01.asm
ASM> scan
RFN File Size Blocks
—- ————— —– ——–
5 aulasm_0005.dbf 25 3079
ASM> create file aulasm_0005.dbf size 26
ASM> open rfn 5 file aulasm_0005.dbf
RFN File
—- ———————————————————
5 aulasm_0005.dbf
ASM> restore
Restore by ASM extent map file.

然后在AUL中进行数据恢复，看看从AUL中恢复出来多少条记录，在这里刚好是将近一半，说明结果良好。

AUL> unload object 13456 to 13456.txt;
2011-04-18 14:55:09
Sucessfully unload 257375 rows …
2011-04-18 14:55:20

第三次测试中丢失了第一块盘，应当可以恢复出另一半的记录才是对的，理论上第二次和第三次恢复记录数之和应当和第一次恢复的记录数相等。

ASM> disk disk.txt
1 ASM disks opened.
—- ———————————–
0 d:\oracleasm\file02.asm
ASM> scan
RFN File Size Blocks
—- ————— —– ——–
5 aulasm_0005.dbf 24 3071
ASM> create file aulasm_0005.dbf size 26
ASM> open rfn 5 file aulasm_0005.dbf
RFN File
—- ———————————————————
5 aulasm_0005.dbf
ASM> restore
Restore by ASM extent map file.

然后在AUL中进行数据恢复，看看从AUL中恢复出来多少条记录。计算了一下第二次和第三次恢复出来的记录数之后刚好等于第一次恢复的记录数，证明ASM恢复软件可用。

AUL> unload object 13456 to 13456.txt;
2011-04-18 14:57:30
Sucessfully unload 242624 rows …
2011-04-18 14:57:40

顺便透露一个Linux版AUL的改进消息，许可证不再动态了，只有服务器重起了才会改变，以方便大家进行数据恢复，毕竟Linux服务器很稳定，对大家来讲应当是更有利的许可证模式。

Relative Posts:

2011/04/15 -- Oracle ASM灾难恢复工具–AULASM (2)
2008/12/27 -- AUL并行扫描Extent (1)
2008/08/01 -- 终极Oracle数据恢复工具 — AUL (8)
2008/05/12 -- Oracle不行再用AUL (7)
2008/04/17 -- Oracle DUL不行就用AUL (10)
2008/03/26 -- 不是好人, 这么无耻! (24)
2008/03/20 -- AUL恢复Oracle视图代码? (0)
2008/03/20 -- AUL恢复Oracle Sequence? (0)
2008/03/20 -- AUL恢复Oracle触发器? (0)
2008/03/20 -- AUL恢复Oracle索引结构? (0)

Oracle ASM灾难恢复工具–AULASM

anysql — Fri, 15 Apr 2011 09:30:38 +0800

昨天晚上花了几个小时时间，写了一个Oracle ASM的灾难恢复软件, 当Oracle ASM一个或多个盘损坏或丢失时, 可以最大化地将其余盘上的数据恢复出来.

程序还是采用不为大家所爱的命令行界面.

AUL : AnySQL UnLoader(MyDUL) for Oracle ASM, release 1.0.0

(C) Copyright Lou Fangxin 2011 (AnySQL.net), all rights reserved.

ASM> help
DISK — open ASM disks.
SCAN — scan ASM disks
RESTORE — restore data file from ASM
CREATE — create empty data file
OPEN — open data file
QUIT/EXIT — exit the program.

打开磁盘组文件, 配置文件中列出各个盘的路径或镜象文件位置就行.

ASM> disk disk.txt
2 ASM disks opened.
—- ———————————–
0 d:\oracleasm\file01.asm
1 d:\oracleasm\file02.asm

扫描磁盘组，找出可能的数据文件.

ASM> scan
5 aulasm_0005.dbf 1 12

创建空的数据文件, 并打开.

ASM> create file aulasm_0005.dbf size 1
ASM> open rfn 5 file aulasm_0005.dbf
RFN File
—- ———————————————————
5 aulasm_0005.dbf

从ASM中读出数据块，写入对应的文件。

ASM> restore

然后用AUL去恢复，这里步骤就不详解了。

D:\oracleasm>aul5b
Register Code: QYOW-EHSO-EIXO-MEKA-VQFG
AUL : AnySQL UnLoader(MyDUL) for Oracle 8/8i/9i/10g/11g, release 5.1.2

(C) Copyright Lou Fangxin 2005-2010 (AnySQL.net), all rights reserved.

AUL> open db.txt
* ts# fno rfn ver bsize blocks filename
- —- —- —- — —– ———- ———————————–
Y 6 5 5 a2 8192 16384 aulasm_0005.dbf
AUL> scan data
2011-04-15 09:19:38
RDBA=0x0140000c(5/12),type=0×06,fmt=0xa2,seq=0×02,flag=0×04
seg/obj=0×00003486=13446,csc=0×0000.00412ee2,itc=3,typ=1 – DATA
tab#= 0 nrow= 2 offs= 0

2011-04-15 09:19:38

下载Windows版本玩玩吧。

Relative Posts:

2011/04/18 -- AUL for Oracle ASM数据恢复测试 (4)
2008/12/27 -- AUL并行扫描Extent (1)
2008/08/01 -- 终极Oracle数据恢复工具 — AUL (8)
2008/05/12 -- Oracle不行再用AUL (7)
2008/04/17 -- Oracle DUL不行就用AUL (10)
2008/03/26 -- 不是好人, 这么无耻! (24)
2008/03/20 -- AUL恢复Oracle视图代码? (0)
2008/03/20 -- AUL恢复Oracle Sequence? (0)
2008/03/20 -- AUL恢复Oracle触发器? (0)
2008/03/20 -- AUL恢复Oracle索引结构? (0)

Oracle到MySQL的数据迁移工具

anysql — Sat, 02 Apr 2011 17:46:05 +0800

前段时间使用SQLULDR2和MySQL的Load Data命令迁移了大量数据, 操作步骤复杂一些, 但性能高, 但对于记录数较少的大量小表, 还是比较麻烦的, 刚好前几天想学习一下MySQL的C客户端编程, 于是就想写一个简洁的从Oracle迁移数据到MySQL的小程序, 作为练习题, 一直相信学什么可以用什么!

可以下载新工具ora2mysql进行测试, 目前请不要用于做正式迁移. 使用方法如下:

D:\>ora2mysql user1=scott/tiger user2=/@localhost:3306:test table=emp
0 rows processed at 2011-04-02 15:03:08.
2 rows processed at 2011-04-02 15:03:08.

在速度方面，由于不支持Array操作，因此速度比较慢，希望Oracle能让SQL * Plus也能连接MySQL库，或改造一下MySQL客户端，增加Array接口。

D:\>ora2mysql user1=scott/tiger user2=/@::test table1=emp_bak table2=emp
0 rows processed at 2011-04-02 19:48:51.
100000 rows processed at 2011-04-02 19:49:17.
200000 rows processed at 2011-04-02 19:49:42.
300000 rows processed at 2011-04-02 19:50:07.
400000 rows processed at 2011-04-02 19:50:32.
500000 rows processed at 2011-04-02 19:50:57.
600000 rows processed at 2011-04-02 19:51:23.
700000 rows processed at 2011-04-02 19:51:48.
800000 rows processed at 2011-04-02 19:52:14.
900000 rows processed at 2011-04-02 19:52:39.
1000000 rows processed at 2011-04-02 19:53:03.
1100000 rows processed at 2011-04-02 19:53:29.
1200000 rows processed at 2011-04-02 19:53:56.
1300000 rows processed at 2011-04-02 19:54:24.
1400000 rows processed at 2011-04-02 19:54:53.

目前还不支持BLOB类型, 也不支持字符集的设置, 请大家理解与支持.

Relative Posts:

2010/03/15 -- 学习OCI之DataCopy程序 (8)
2011/03/28 -- DataCopy通过300GB的数据测试 (12)
2010/04/15 -- 并行SQLULDR2和DataCopy操作 (4)
2009/11/07 -- MySQL数据迁移测试 (8)
2009/06/09 -- copydata异构数据拷贝 (6)
2008/05/15 -- 将dmp数据导入到另一个表 (3)
2008/02/20 -- 导出时的字符集转换 (1)
2007/11/28 -- 如何提高Oracle exp/imp的速度? (7)
2007/07/10 -- dmp2utf8的下载量骤增, 不知什么原因? (5)
2007/03/14 -- 如何在不同类型的数据库间迁移数据? (1)

DataCopy通过300GB的数据测试

anysql — Mon, 28 Mar 2011 19:50:24 +0800

网友使用DataCopy进行了数据迁移测试, 数据量有300GB的样子, 表有几百个, DataCopy表现不错, 单进程时也和Exp/Imp不相上下, 因为DataCopy可以很方便地自动并行处理, 这是他选择DataCopy的重要理由, 只需要加一个并行度就行了.

datacopy user1=… user2=… table=… degree=4

Bug往往在大量测试或要正式使用时出现, 这次也不例外. 总共解决了两个程序缺限, 错误信息如下所示:

ORA-01405: fetched column value is NULL
ORA-24816: Expanded non LONG bind data supplied after actual LONG or LOB column

第一个错误是因为使用回调函数处理Long或LOB类型时, 没有使用标志变量(Indicator Variable), 第二个错误是因为传绑定变量时没有将Long或LOB列放在最后. 以前居然没有理解这一点, 汗颜啊!

ORA-24345: A Truncation or null fetch error occurred

另外还回答了两个问题, 第一个是上面的错误, 这是因为NLS_LANG中标明的字符集与数据库的字符集不一样, 发生了转换, 导致程序给的缓冲区不够用引起的. 另一个问题是, Direct Load方式迁移数据库出现乱码, 一般也是因为NLS_LANG中标明的字符集与数据库的字符集不一样.

经过这一次的改进, DataCopy和DataSync应当是相当稳定了, 已编译好AIX的版本让大家选择. 如果觉得好, 可以赞助个10元/5元的, 让我们技术人员知道技术环境正在逐步改善.

Relative Posts:

2011/04/02 -- Oracle到MySQL的数据迁移工具 (6)
2010/04/18 -- SQLULDR2 : Parallel Inside Now! (12)
2010/04/15 -- 并行SQLULDR2和DataCopy操作 (4)
2010/03/15 -- 学习OCI之DataCopy程序 (8)
2009/04/02 -- 给SQLULDR2加上Key保护 (6)
2009/03/31 -- 指定表名导出文本 (0)
2011/03/23 -- 解决OCI LOB值的ORA-01405错误 (4)
2010/06/24 -- 控制SQLULDR2的字符集 (6)
2010/06/19 -- 2011年起SQLULDR2中的收费功能 (9)
2010/05/12 -- 图形版Oracle数据迁移工具 (11)

编译Windows下的第一个MySQL程序

anysql — Sun, 27 Mar 2011 21:56:12 +0800

要编写高效的客户端软件就得用C语言, Oracle的OCI初级编程基本搞懂了, 现在学一点MySQL客户端的编程, 可以偿试去写一个Oracle与MySQL对拷数据的C程序, MySQL的源代码看不懂, 走走外围也不错. 下面是从网上找来的一段MySQL代码, 显示Global Status命令的结果, 源代码如下:

#include <winsock2.h>
#include <mysql.h>
#include <stdio.h>

int main()
{
MYSQL *conn;
MYSQL_STMT *stmt;
MYSQL_RES *res;
MYSQL_ROW row;

char *server = “localhost”;
char *user = “root”;
char *password = “”;
char *database = “test”;

conn = mysql_init(NULL);

/* Connect to database */
if (!mysql_real_connect(conn, server,
user, password, database, 0, NULL, CLIENT_MULTI_STATEMENTS))
{
fprintf(stderr, “%s\n”, mysql_error(conn));
return(0);
}

/* send SQL query */
if (mysql_query(conn, “show global status;”))
{
fprintf(stderr, “%s\n”, mysql_error(conn));
return(0);
}

res = mysql_use_result(conn);

/* output fields 1 and 2 of each row */
while ((row = mysql_fetch_row(res)) != NULL)
printf(“%s %s\n”, row[0], row[1]);

/* Release memory used to store results and close connection */
mysql_free_result(res);
mysql_close(conn);
}

Windows下的编译很简单, 只要在编译时加上libmysql包就行了.

cl my1.cpp libmysql.lib

接下来看看MySQL的绑定变量使用, 及批量操作的接, 看看是否可以写出DataCopy Oracle-MySQL程序.

Relative Posts:

2010/11/17 -- 满足同事的一个报表需求 (2)
2010/02/20 -- 定义不同数据源的SQL (4)
2010/01/26 -- 逻辑连接层与物理连接层(2) (1)
2010/01/05 -- DataReport中的FORALL循环 (0)
2009/12/25 -- SQLULDR2的自定义转义符处理 (2)
2009/11/07 -- MySQL数据迁移测试 (8)
2009/10/30 -- SQLULDR2功能增加, 性能不减 (14)
2009/10/28 -- SQLULDR2生成Insert SQL语句 (4)
2009/10/27 -- 将SQLULDR2转义符进行到底 (3)
2009/10/26 -- SQLULDR2处理MySQL转义符 (1)

解决OCI LOB值的ORA-01405错误

anysql — Wed, 23 Mar 2011 19:46:50 +0800

基于OCI写的DataCopy(数据拷贝)与DataSync(数据同步)软件, 处理Lob类型的NULL值时一直都有问题, 会报ORA-01405错误, 导致去年丢失可以在正式场合(用于实时备份某地交通局的图片数据)使用的机会, 很是可惜. 最近关注这两个工具的人变多了, 再次向我报告了这个问题, 于是花了点时间去修改原来的代码, 终于搞定, 希望能找到一个正式使用的场景.

ORA-01405: fetched column value is NULL
Cause:The INTO clause of a FETCH operation contained a NULL value, and no indicator was used. The column buffer in the program remained unchanged, and the cursor return code was +2. This is an error unless you are running Oracle with DBMS=6, emulating version 6, in which case it is only a warning.

另外还修改了连接数据库的方式, 在Instant Client和Full Client的情况下及任何数据库版下, 都可以用以下格式连接数据库, 尽量为大家提供方便.

sqluldr2 scott/tiger@localhost:1521:db10g …
datacopy user=scott/tiger@localhost:1521:db10g …
datasync user=scott/tiger@localhost:1521:db10g …

再次简单地讲解一下这两个工具, DataCopy是一个不落地的Oracle之间数据对拷工具, 支持Long/Lob等数据类型(单值100MB以内), 并且速度上不比Exp/Imp工具差, 是一个很理想的Oracle数据迁移工具. DataSync是一个利用物化视图日志或触发器捕获增量变化数据, 进行准实时的数据同步/复制工具, 我们用这种机制在半小时内迁移过500GB的数据, 支持每秒钟上千次的变更压力, 并且同样支持Long/Lob等数据类型(单值100MB以内). 更重要的是, 这两个工具自2011年起, 完全免费使用.

Relative Posts:

2010/04/10 -- 不同字符集的数据迁移 (6)
2010/04/10 -- DataSync之物化视图日志助手 (0)
2010/03/27 -- Oracle中轻松复制SCOTT.EMP (6)
2011/03/28 -- DataCopy通过300GB的数据测试 (12)
2010/05/12 -- 图形版Oracle数据迁移工具 (11)
2010/04/18 -- SQLULDR2 : Parallel Inside Now! (12)
2010/04/16 -- DataCopy : Parallel Inside Now! (2)
2010/04/15 -- 并行SQLULDR2和DataCopy操作 (4)
2010/03/20 -- DataCopy选项: conflict和filler (0)
2010/03/16 -- 用DataCopy进行Oracle数据同步 (6)

对Oracle的两个功能需求

anysql — Thu, 17 Mar 2011 22:01:38 +0800

Hash算法在NoSQL、内存表、Cache中广泛使用，Oracle中也有基于Hash算法的Cluster对象，可以创建Hash表，但却没有Hash索引。在以前2000万记录的测试中，获取一条记录的逻辑读是1.06个，这个效率用普通的索引是很难完成的，换成索引的话，也就是一条记录2.06个逻辑读，同样十分高效。虽然可以用PL/SQL编写组件可以实现，但肯定不如在内核一级实现这个功能，保持表结构的灵活性，又保持主键访问的高效性。

物化视图日志是一种很好的Change Data Capture的机制，可以满足大部份系统数据同步的需求，根本就不需要用到基于日志的复杂技术。但有一些批量处理的任务，不想Oracle捕捉变更，但采用物化视图时，没有办法跳过。为此曾经查阅了物化视图有关的所有内建存贮过程包，都没有找到解决方案，其实很容易实现这个功能，大家可以借用这个工能实现轻量级的数据复制方案。虽然说是轻量级的，但对于每秒上千次的一样也很容易复制。

想起07年提过的两个需求，都已经实现，其中一个已经验证过了，就是11g的Active Standby；另一个是RAC节点的读写控制，以实现一个写多个读的机制，减少全局锁的冲突引起的性能停顿，还有待验证一下，只是验证的成本比较高，目前还没有时间去搞它。

07年的两个想法太想要了，所以跑去发Tar，今天的这两个功能不是那么急，就只在博客中提一下算了。要是有淘宝在MySQL上的实力，就去自已实现算了。

Relative Posts:

2007/04/27 -- Oracle应当增加一种基于Hash算法的索引 (3)
2009/02/05 -- 导出时如何统一表空间? (2)
2008/06/23 -- 根据表名搜索SQL语句 (0)
2008/05/11 -- 一周遇到两个Oracle Bug (5)
2008/03/20 -- AUL恢复Oracle索引结构? (0)
2008/03/06 -- HVR, 欧州的Shareplex? (0)
2008/02/29 -- 向Zizzy项目注入MyLOG (8)
2008/02/28 -- Oracle CBO认为Cost为0 (2)
2007/12/04 -- TIMESTAMP类型上的索引 (0)
2007/09/06 -- 用Stop List来缩小Oracle全文索引的大小 (4)

控制DataReport的表格格式

anysql — Sat, 18 Dec 2010 09:32:49 +0800

中国式的报表一直是头疼的问题, 比如要出一份如下格式的报表, 一直都想实现的, 直到今天才想到如何嵌入这个功能.

Empno Salary

Sal Comm

7369 800.0

7499 1600.0 300.0

7521 1250.0 500.0

7566 2975.0

7654 1250.0 1400.0

7698 2850.0

7782 2450.0

Empno	Salary
Sal	Comm
7369	800.0
7499	1600.0	300.0
7521	1250.0	500.0
7566	2975.0
7654	1250.0	1400.0
7698	2850.0
7782	2450.0

实现这个功能是通过自定议表头, 及记录格式来完成的, 报表定义文件如下.

webchart.query_1=select empno, sal, comm from emp

webchart.headhtml_1=
<tr><th rowspan=”2″ align=”center”>Empno</th>
<th colspan=”2″ align=”center”>Salary</th></tr>
<tr><th align=”center”>Sal</th>
<th align=”center”>Comm</th></tr>

webchart.datahtml_1=
<tr><td align=”center”>$empno</td>
<td align=”right”>$sal</td>
<td align=”right”> $comm</td></tr>

除了特殊处理外, 还想不到通用的方式实现, 需要用最新的xsl格式控制文件才行, Excel中还不支持这个格式.