大数据处理一些总结
使用JDBC处理大数据 在实际开发中，程序需要把大文本或二进制数据保存到数据库。 基本概念：大数据也称之为LOB(Large Objects)，LOB又分为：clob和blob
（a）clob用于存储大文本。（mysql 中采用Text）
（b）blob用于存储二进制数据，例如图像、声音、二进制文等。
对MySQL而言只有blob，而没有clob，mysql存储大文本采用的是Text，其体系中的Text和blob分别又分为：
（a）Text ——TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXT
（b）blob ——TINYBLOB、BLOB、MEDIUMBLOB和LONGBLOB
?
?
?
?
?
使用JDBC进行批处理
?
????业务场景：当需要向数据库发送一批SQL语句执行时，应避免向数据库一条条的发送执行，而应采用JDBC的批处理机制，以提升执行效率。
?
????实现批处理有两种方式，
?
????????????第一种方式： Statement.addBatch(sql) （其实是将sql语句 放在了一个?list 集合中。）
?
????????????第二种方式：??PreparedStatement.addBatch() （其实是将sql语句 放在了一个?list 集合中。）
?
????执行批处理SQL语句
?
????????????executeBatch()方法：执行批处理命令
?
????????????clearBatch()方法：清除批处理命令（实际上是清除 List集合中的SQL语句，否则会造成内存溢出。）
?
?
?
Oracle中大数据处理
?
????????Oracle定义了一个BLOB字段用于保存二进制数据，但这个字段并不能存放真正的二进制数据，只能向这个字段存一个指针，然后把数据放到指针所指向的Oracle的LOB段中， LOB段是在数据库内部表的一部分。
?
????????因而在操作Oracle的Blob之前，必须获得指针（定位器）才能进行Blob数据的读取和写入。
?
????????如何获得表中的Blob指针呢？ 可以先使用insert语句向表中插入一个空的blob（调用oracle的函数empty_blob() ?），这将创建一个blob的指针，然后再把这个empty的blob的指针查询出来，这样就可得到BLOB对象，从而读写blob数据了。
?
?
????Oracle中LOB类型的处理步骤
?
????(1)? 插入空blob —— ?insert into test(id,image) values(?,empty_blob());
?
????(2)? 获得blob的cursor?——??select image from test where id= ? for update; ?
?
????????????????????????????????????????????????????? Blob b = rs.getBlob(“image”);
?
????????注意: ?须加for update，锁定该行，直至该行被修改完毕，保证不产生并发冲突。
?
????(3)? 利用 io，和获取到的cursor往数据库读写数据
?
????????注意：以上操作需开启事务。
?
?Demo样例：第一种方式：Statement.addBatch(sql)
?
?
?
@Test public void test1() throws SQLException{ Connection conn = null; Statement st = null; ResultSet rs = null; try { conn = JdbcUtil.getConnection(); String sql1 = "insert into user(name,password,email,birthday) values('kkk','123','abc@sina.com','1978-08-08')"; String sql2 = "update user set password='123456' where id=3"; st = conn.createStatement(); st.addBatch(sql1); //把SQL语句加入到批命令中 st.addBatch(sql2); //把SQL语句加入到批命令中 st.executeBatch(); st.clearBatch(); } finally{ JdbcUtil.free(conn, st, rs); } }?
?
?
采用Statement.addBatch(sql)方式实现批处理的优缺点
?
????????优点：可以向数据库发送多条不同的ＳＱＬ语句。
?
????????缺点：SQL语句没有预编译。当向数据库发送多条语句相同，但仅参数不同的SQL语句时，需重复写上很多条SQL语句。
?
????????????例如：
?
????????????? ?Insert into user(name,password) values(‘aa’,’111’);
?
????????????? ?Insert into user(name,password) values(‘bb’,’222’);
?
????????????? ?Insert into user(name,password) values(‘cc’,’333’);
?
????????????? ?Insert into user(name,password) values(‘dd’,’444’);
?
?
?实现批处理的第二种方式：PreparedStatement.addBatch()?
?
????Demo样例：第二种 方式
@Test public void test2() throws SQLException{ conn = JdbcUtil.getConnection(); String sql = "insert into user(name,password,email,birthday) values(?,?,?,?)"; st = conn.prepareStatement(sql); for(int i=0;i<50000;i++){ st.setString(1, "aaa" + i); st.setString(2, "123" + i); st.setString(3, "aaa" + i + "@sina.com"); st.setDate(4,new Date(1980, 10, 10)); st.addBatch(); if(i%1000==0){ //为防止(list集合) 内存溢出：设定每累加1000条数据就向数据库发送一次 st.executeBatch(); st.clearBatch(); } } st.executeBatch(); //当剩余的条数小于1000条时就不会被发送到数据库，所以此处要在发送一次。 ｝?采用PreparedStatement.addBatch()实现批处理的优缺点
?
?
????优点：发送的是预编译后的SQL语句，执行效率高。
?
????缺点：只能应用在SQL语句相同，但参数不同的批处理中。因此此种形式的批处理经常用于在同一个表中批量插入数据，或批量更新表的数据。
?