Sybase IQ 的导入和导出
Sybase IQ一直以其导出导入性能佳而著称，如果能将其用好确实不易。最近本人对此研究了一番，总结如下，仅供参考。
1. 前言
Sybase IQ是一个强大的即席查询服务器。用Sybase IQ来分离决策支持系统(DSS，Decision Support System，READER)和在线事务处理系统(OLTP，OnLine Transaction Processing，WRITER)。目前Sybase IQ在SG186数据中心项目中作为数据仓库数据库得到广泛使用。
2. 导出
导出在Sybase IQ也称卸载，总结Sybase IQ卸载方式无外乎以下几种：
2.1、使用BCP卸载数据
SybaseIQ支持BCP，可以有两种方式，一种呢是通过OCS提供的BCP，语法和ASE类似，还有一种是通过iq_bcp，语法如下：
usage: iq_bcp [[database_name.]owner.]table_name {in | out} datafile
[-c] [-t field_terminator] [-r row_terminator]
[-U username] [-P password] [-I interfaces_file] [-S server]
[-v] [-A packet size] [-J client character set]
usage: bcp [[db_name.]owner.]table_name[:slice_num] [partition pname] {in | out} [filename]
[-m maxerrors] [-f formatfile] [-e errfile]
[-F firstrow] [-L lastrow] [-b batchsize]
[-n] [-c] [-t field_terminator] [-r row_terminator]
[-U username] [-P password] [-I interfaces_file] [-S server]
[-a display_charset] [-z language] [-v]
[-A packet size] [-J client character set]
[-T text or image size] [-E] [-g id_start_value] [-N] [-X]
[-M LabelName LabelValue] [-labeled]
[-K keytab_file] [-R remote_server_principal] [-C]
[-V [security_options]] [-Z security_mechanism] [-Q] [-Y]
[-x trusted.txt_file]
[--maxconn maximum_connections] [--show-fi] [--hide-vcc]
这两种方式都需要配置，open client 的接口文件UNIX下是interfaces，与数据库option方式的数据卸载相比较，特点是：一速度比后者慢，但是支持客户端数据卸载。以下给出一个具体的例子：
bcp cmcc.d_district out "D_BRAND.dat" -c -t"|" -T32000 -UDBA -PSQL -Stestiq -Jcp936 或者
iq_bcp cmcc.d_district out "D_BRAND.dat" -c -t"|" -UDBA -PSQL -Stestiq -Jcp936
2.2文本数据方式
2.2.1、Sqladv方式
示例如下：
在cmd状态下：
c:\>sqladv -Sserver -Uuser -Ppassword -i c:\test.sql -o c:\testout.txt
但是有几个问题：
(1)、出来的东东格式不太标准：
首先有字段名的表头，不知道怎么去掉。
另外就是各个字段之间的数据采用N个空格分开，不是使用Tab，
不过，这些可以通过编程解决。
(2)、执行Bat处理时启动一次SQLADV之后，后面的就执行不过去了，必须先把SQLADV关闭才能执行。
2.2.2、isql方式
使用Isql可以实现同样的效果，这样就可直接使用批处理文件，不用Sqladv的方式了。
c:\>isql -Sserver -Uuser -Ppassword -i c:\test.sql -o c:\testout.txt
test.sql:
select * from DSSD_TIME where TIME_YEAR=2001
go
2.2.3、output方式
OUTPUT TO filename
[ APPEND ]
[ VERBOSE ]
[ FORMAT output-format ]
[ ESCAPE CHARACTER character ]
[ DELIMITED BY string ]
[ QUOTE string [ ALL ] ]
[ COLUMN WIDTHS (integer , . . . ) ]
[ HEXADECIMAL { ON | OFF | ASIS } ]
[ ENCODING encoding ]
output-format :
ASCII | DBASEII | DBASEIII | EXCEL
| FIXED | FOXPRO | HTML | LOTUS | SQL | XML
? QUOTE
? ESCAPE CHARACTER character 指定转义字符
? 输出数据在当前运行端
? 可以指定分割符方式的数据输出，也可以指定每个字段的定长方式.。示
例如下：
SELECT * FROM "DBA"."V_ICP_ID";
OUTPUT TO 'c:\temp\V_ICP_ID.out'
DELIMITED BY '|'
FORMAT ASCII
quote '';
输出结果在命令执行端。
> # <文件名> 输出执行结果
> & <文件名> 输出到文件包括错误信息和执行信息，执行结果
例如：
SELECT *
FROM employee
>& empfile
或
select * from psdss_dm.AA_RESULT ># D:\tmpda\AA_RESULT.txt;
2.3、option方式
此方式可以导出二进制数据：
set temporary option temp_extract_name1='/apps/performance/IAC' ; --设置输出路径
set temporary option Temp_Extract_Column_Delimiter='|'; --设置分隔符
commit
select * from P_ABIS_IAC --执行查找
commit
set temporary option temp_extract_name1='' --重新设置到控制台
commit
经过研究，并在东软导出工具基础上加以改造实现了批量表数据导出，填补了东软工具不能批量表导出的不足。
2.4导出方式比较
(1)Option是二进制方式，此种方式速度最快，在导入时完全避免了分隔符和空值等问题。
(2)iq_bcp方式支持客户端导出。
(3)其他几种方式是文本方式，可以灵活定制文本导出格式，只能在服务器端导出。
3.导入
3.1、load
load语句的格式：
LOAD [ INTO ] TABLE [ owner.]table-name [ ( column-name, . . . ) ]
FROM filename
[ load-option . . . ]
[ statistics-limitation-options ]
load-option :
CHECK CONSTRAINTS { ON | OFF }
| COMPUTES { ON | OFF }
| DEFAULTS { ON | OFF }
| DELIMITED BY string
| ESCAPE CHARACTER character
| ESCAPES { ON | OFF }
| FORMAT { ASCII | BCP }
| HEXADECIMAL {ON | OFF}
| ORDER {ON | OFF}
| PCTFREE percent-free-space
| QUOTES { ON | OFF }
| SKIP integer
| STRIP { ON | OFF }
| WITH CHECKPOINT { ON | OFF }
? 如果字段名未出现在字段列表中，则填充NULL、0、空、或者DEFAULT;
存在于输入文件中的字段可以用“filler()”.忽略
? DEFAULTS { ON | OFF } 为ON则字段取缺省值。否则取NULL
? QUOTES { ON | OFF } 缺省为ON ，字段定界符为‘’或者 “”
? DELIMITED BY 选项： 可以单个字符，最多255个字符，例如：制表符
号作分割符号：
...DELIMITED BY ’nx09’
? SKIP n 忽略前n条记录;
? STRIP ON|OFF 尾空格插入前是否截取;
? WITH CHECKPOINT ON|OFF 缺省为 OFF, 如果设置为ON则，命令完成
后，执行CHECKPOINT 操作。
下面是从一个文本文件load到表F_INN_IA_DAILY_SUM中的语句：
set temporary option date_order=YMD;
Load Table F_INN_IA_DAILY_SUM
(
ORG_SID '+|+',
DEAL_SID '+|+',
ALL_TIME_SID '+|+',
R_COUNT_DIM_SID '+|+',
T_TAX_STOR_COST '+|+',
T_STOR_COST '+|+',
T_STOR_SUM '+|+',
CREATED_DT 'X0A'
)
From '/load_data/F_Inn_IA_Daily_Sum.txt'
ESCAPES OFF
QUOTES OFF
NOTIFY 100000
WITH CHECKPOINT ON;
COMMIT
其中+|+是字段的分隔符，X0A是记录的分隔符，即回车(文本文件中)。
load中注意的问题：
1、load的文本文件要在iq同一台机子上。
2、load的时候经常出现类型转换错误，所以要注意字段类型和长度一致。
3、最后一个字段有空值，也会出现字符转换错误，但真正的原因是最后一个字段有空值。
对最后一个字段空值的load语句：
数据：
256|59|水资源费费展x00费|5903|自来水厂自来水厂保险x00船x00船x00x00|0|2006-12-01 02:15:19.0|2006-12-02 02:15:19.0
257|59|水资源费费展x00费|5904|自来水厂取地自来保险x00船x00船x00x00|0|2006-12-01 02:15:19.0|2006-12-02 02:15:19.0
258|59|水资源费费展x00费|5905|工业生产取地表水保险x00船x00船x00x00|0|2006-12-01 02:15:19.0|为空
259|59|水资源费费展x00费|5906|工业生产取地下水保险x00船x00船x00x00|0|2006-12-01 02:15:19.0|为空
因为有最后是有空值的，在装载的时候装载不进去，要指出空值的类型。load语句如下：
LOAD TABLE d_tax_kind
(TAX_KIND_KEY '|',
TAX_KIND_CODE '|',
TAX_KIND_NAME '|',
TAX_ITEM_CODE '|',
TAX_ITEM_NAME '|',
TAX_FLAG '|',
EFFECTIVE_DATE '|' null(''),
END_DATE 'x0dx0a' null('')
)
FROM 'c:d_tax_kind.out'
ESCAPES OFF
QUOTES Off
format ASCII
WITH CHECKPOINT ON;
需要注意的问题：
ASCII变长数据加载时，字段分割符号和行分隔符一般需要描述。
3.2 insert 数据加载
语法：
INSERT [ INTO ] [ owner.]table-name [ ( column-name [, ...] ) ]
... VALUES ( expression ... )
Syntax 2
INSERT [ INTO ] [ owner.]table-name [ ( column-name [, ...] ) ]
... insert-load-options
... select-statement
Syntax 3
INSERT [ INTO ] [ owner.]table-name [ ( column-name [, ...] ) ]
... insert-load-options
[ LOCATION 'servername.dbname '
[ ENCRYPTED PASSWORD ][ PACKETSIZE packet-size ] ]
... {select-statement}
3.3、特殊的INSERT
支持部分加载，从其他远程服务器数据加载。
INSERT INTO lineitem
(l_shipdate, l_orderkey)
LOCATION 'detroit.asiqdb'
PACKETSIZE 512
{ SELECT l_shipdate, l_orderkey
FROM lineitem }
通过LOCATION 'detroit.asiqdb'指定Open Client配置的服务器名和数据
库名称。
3.4、管道方式的数据加载
利用操作系统管道功能进行数据加载，减少磁盘I/O 使数据加载更加高效。
3.4.1、管道数据加载命令脚本
#!/bin/ksh
FILE=$1
if [ -z "${FILE}" ]
then
echo ""
echo "USAGE: $0 SQL_file_to_load"
echo ""
exit
fi
if [ -r CdrPipe ]
then
rm CdrPipe
fi
mknod /work_tmp/test_pipe/CdrPipe p
nohup dbisqlc -c
"eng=iq126;uid=DBA;pwd=SQL;dbn=iq126;links=tcpip{host=127.0.0.1:2660}" -
q ${FILE} > ${FILE}.out 2>&1 &
cat /work_tmp/test_pipe/rtqd_split.aa > /work_tmp/test_pipe/CdrPipe &
echo "Input from: ${FILE}"
echo "Output to : ${FILE}.out"
4、总结
综上所述，导出方式建议使用option方式，导入方式使用load在进行批量导出许多表时，可以考虑使用东软的export和load工具生成批量导出和导入脚本。东软的相关工具使用方法本文不作赘述。
