江苏龙网

  1. 主页 > 生活百科 > >

向oracle中导入*.csv文件( 二 )

Oracle


"3","3","隔叶黄莺","8","2009-1-2"
"4","4","Kypfos","",""
"5","5","不知秋","1","2008-12-23"
2) 建立一个控制文件 users.ctl，内容如下：
说明：在操作类型 truncate 位置可用以下中的一值：
1) insert --为缺省方式，在数据装载开始时要求表为空
2) append --在表中追加新记录
3) replace --删除旧记录(用 delete from table 语句)，替换成新装载的记录
4) truncate --删除旧记录(用 truncate table 语句)，替换成新装载的记录
3) 执行命令：
sqlldr dbuser/dbpass@dbservice control=users.ctl
在 dbservice 指示的数据库的表 users 中记录就和数据文件中的一样了 。
执行完 sqlldr 后希望能留意一下生成的几个文件，如 users.log 日志文件、users.bad 坏数据文件等 。特别是要看看日志文件，从中可让你更好的理解 Sql Loader，里面有对控制文件的解析、列出每个字段的类型、加载记录的统计、出错原因等信息 。
第一种方式，只使用一个控制文件在这个控制文件中包含数据
1) 把 users_data.cvs 中的内容补到 users.ctl 中，并以 BEGINDATA 连接，还要把 INFILE "users_data.csv" 改为 INFILE * 。同时为了更大化的说明问题，把数据处理了一下 。此时，完整的 users.ctl 文件内容是：
OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的选项可以写到这里边来,skip=1 用来跳过数据中的第一行
LOAD DATA
INFILE * -- 因为数据同控制文件在一起，所以用 * 表示
append -- 这里用了 append 来操作，在表 users 中附加记录
【向oracle中导入*.csv文件】INTO TABLE users
when LOGIN_TIMES<>'8' -- 还可以用 when 子句选择导入符合条件的记录
Fields terminated by ","
trailing nullcols
(
virtual_column FILLER, --跳过由 PL/SQL Developer 生成的第一列序号
user_id "user_seq.nextval", --这一列直接取序列的下一值，而不用数据中提供的值
user_name "'Hi '||upper(:user_name)",--,还能用SQL函数或运算对数据进行加工处理
login_times terminated by ",", NULLIF(login_times='NULL') --可为列单独指定分隔符
last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login="NULL") -- 当字段为"NULL"时就是 NULL
)
BEGINDATA --数据从这里开始
,USER_ID,USER_NAME,LOGIN_TIMES,LAST_LOGIN
1,1,Unmi,3,2009-1-5 20:34
2,2,Fantasia,5,2008-10-15
3,3,隔叶黄莺,8,2009-1-2
4,4,Kypfos,NULL,NULL
5,5,不知秋,1,2008-12-23
2) 执行一样的命令：
sqlldr dbuser/dbpass@dbservice control=users.ctl
比如，在控制台会显示这样的信息：
C:>sqlldr dbuser/dbpass@dbservice control=users.ctl
SQL*Loader: Release 9.2.0.1.0 - Production on 星期三 1月 7 22:26:25 2009
Copyright (c) 1982, 2002, Oracle Corporation. All rights reserved.
达到提交点，逻辑记录计数4
达到提交点，逻辑记录计数5
上面的控制文件包含的内容比较复杂(演示目的)，请根据注释理解每个参数的意义 。还能由此发掘更多用法 。
最后说下有关 SQL *Loader 的性能与并发操作
1) ROWS 的默认值为 64，你可以根据实际指定更合适的 ROWS 参数来指定每次提交记录数 。(体验过在 PL/SQL Developer 中一次执行几条条以上的 insert 语句的情形吗？)
2）常规导入可以通过使用 INSERT语句来导入数据 。Direct导入可以跳过数据库的相关逻辑(DIRECT=TRUE)，而直接将数据导入到数据文件中，可以提高导入数据的性能 。当然，在很多情况下，不能使用此参数(如果主键重复的话会使索引的状态变成UNUSABLE!) 。
3) 通过指定 UNRECOVERABLE选项，可以关闭数据库的日志(是否要 alter table table1 nologging 呢?) 。这个选项只能和 direct 一起使用 。
4) 对于超大数据文件的导入就要用并发操作了，即同时运行多个导入任务.
sqlldr userid=/ control=result1.ctl direct=true parallel=true
sqlldr userid=/ control=result2.ctl direct=true parallel=true
sqlldr userid=/ control=result2.ctl direct=true parallel=true
当加载大量数据时（大约超过10GB），最好抑制日志的产生：
SQL>ALTER TABLE RESULTXT nologging;
这样不产生REDO LOG，可以提高效率 。然后在 CONTROL 文件中 load data 上面加一行：unrecoverable，此选项必须要与DIRECT共同应用 。
在并发操作时，ORACLE声称可以达到每小时处理100GB数据的能力！其实，估计能到 1－10G 就算不错了，开始可用结构 相同的文件，但只有少量数据，成功后开始加载大量数据，这样可以避免时间的浪费 。


推荐阅读


上一篇：开发中经常用到的20个正则

下一篇：本地IP地址的区别你确定都知道吗