博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hibernate 批量插入数据
阅读量:4325 次
发布时间:2019-06-06

本文共 4988 字,大约阅读时间需要 16 分钟。

如题,有两种方法

1)使用FLUSH

2)使用JDBC

 

分别来解释:

1)hibernate在进行数据库操作的时候,都要有事务支持的。可能你曾遇到过,没有加事务,程序会报错的情况。

    而事务每次提交的时候,都会和数据库交互,即让数据库执行SQL语句。

     在说到hibernate中的save() 或者saveOrUpdate()方法,其实,它们都是利用hibernate的一级缓存,在事务没有提交的时候,所有对象,并没有写入数据库。而是保存在内存中。在事务提交的时候,hibernate会把这些对象持久化到数据库中。另一方面,hibernate提供了一个显式的API来强制写数据库。就是FLUSH。当程序执行session.flush(),就会持久化数据,而不必等到事务提交时才执行。

     本人写了一个DEMO,一个线程产生USER,一个保存USER。

生产者代码如下:

package com.baidu.test;import java.util.ArrayList;import java.util.Collections;import java.util.List;import com.baidu.model.User;public class test extends Thread {    public static int count = 0;    public static List
userlist = Collections.synchronizedList(new ArrayList()); public User user; public static void main(String[] args) { new test().start(); new HandleThread().start(); } public static int usercount=0; @Override public void run() { while (true) { try { Thread.sleep(2000); } catch (InterruptedException e) { // TODO Auto-generated catch block e.printStackTrace(); } User t = new User(); t.setId(usercount); t.setUsername("name_" + usercount); userlist.add(t); System.out.println("生产出一个user_"+usercount); usercount++; } }}

消费者代码如下:

package com.baidu.test;import org.hibernate.Session;import org.hibernate.SessionFactory;import org.hibernate.Transaction;import org.hibernate.cfg.Configuration;import com.baidu.model.User;public class HandleThread extends Thread {    @Override    public void run() {        boolean flag=false;        Configuration config = new Configuration();        config.configure();        SessionFactory factory = config.buildSessionFactory();        Session session = factory.openSession();        while (true) {            if (test.userlist.size() > 0) {                for (int i = 0; i < test.userlist.size(); i++) {                    System.out.println("处理了"                            + test.userlist.get(i).getId());                    insert(test.userlist.get(i),session);                }                test.userlist.clear();            }            try {                Thread.sleep(3000);            } catch (InterruptedException e) {                e.printStackTrace();            }            if(flag)                break;        }        session.close();    }    public void insert(User user,Session session) {            Transaction tran = session.beginTransaction();        session.save(user);        if (test.count++ % 10 == 0) {            System.out.println(test.count);            session.flush();            session.clear();        }        tran.commit();            }}
if (test.count++ % 10 == 0) {            System.out.println(test.count);            session.flush();            session.clear();        } 这段代码就是执行批量操作的核心。当然这个需要在hibernate配置文件中配置下  
10
这个值,从网上得到的说法是一次推送SQL语句的条数。暂且相信了,后续我将验证(通过抓包)。 至此,第一种批量处理已经完成。 2) to be continue... Hibernate批量处理其实从性能上考虑,它是很不可取的,浪费了很大的内存。从它的机制上讲,Hibernate它是先把符合条件的数据查出来,放到内存当中,然后再进行操作。实际使用下来性能非常不理想,在笔者的实际 使用中采用下面的第三种优化方案的数据是:100000条数据插入数据库,主流台式机的配置,需要约30分钟,呵呵,晕倒. 总结下来有三种来处理以解决性能问题: 1:绕过Hibernate API ,直接通过 JDBC API 来做,这个方法性能上是比较好的。也是最快的. 2:运用存储过程。 3:还是用Hibernate API 来进行常规的批量处理,可以也有变,变就变在,我们可以在查找出一定的量的时候,及时的将这些数据做完操作就 删掉,session.flush();session.evict(XX对象集); 这样也可以挽救一点性能损失。这个“一定的量”要就要根据实际情况做定量参考了。一般为30-60左右,但效果仍然不理想. 1:绕过Hibernate API ,直接通过 JDBC API 来做,这个方法性能上是比较好的,也是最快的。(实例为 更新操作) Transaction tx=session.beginTransaction(); //注意用的是hibernate事务处理边界 Connection conn=session.connection(); PreparedStatement stmt=conn.preparedStatement("update CUSTOMER as C set C.sarlary=c.sarlary+1 where c.sarlary>1000"); stmt.excuteUpdate(); tx.commit(); //注意用的是hibernate事务处理边界 这小程序中,采用的是直接调用JDBC 的API 来访问数据库,效率很高。避免了Hibernate 先查询出来加载到内存,再进行操作引发的性能问题 。 2:运用存储过程。但这种方式考虑到易植和程序部署的方便性,不建议使用.(实例为 更新操作) 如果底层数据库(如Oracle)支持存储过程,也可以通过存储过程来执行批量更新。存储过程直接在数据库中运行,速度更加快。在Oracle数 据库中可以定义一个名为batchUpdateCustomer()的存储过程,代码如下: 代码内容 create or replace procedure batchUpdateCustomer(p_age in number) as begin update CUSTOMERS set AGE=AGE+1 where AGE>p_age; end;  以上存储过程有一个参数p_age,代表客户的年龄,应用程序可按照以下方式调用存储过程: 代码内容 tx = session.beginTransaction(); Connection con=session.connection(); String procedure = "{call batchUpdateCustomer(?) }"; CallableStatement cstmt = con.prepareCall(procedure); cstmt.setInt(1,0); //把年龄参数设为0 cstmt.executeUpdate(); tx.commit();  从上面程序看出,应用程序也必须绕过Hibernate API,直接通过JDBC API来调用存储过程。 3:还是用Hibernate API 来进行常规的批量处理,可以也有变,变就变在,我们可以在查找出一定的量的时候,及时的将这些数据做完操作就 删掉,session.flush();session.evict(XX对象集); 这样也可以挽救一点性能损失。这个“一定的量”要就要根据实际情况做定量参考了。。 (实例为 保存操作) 业务逻辑为:我们要想数据库插入10 0000 条数据 tx=session.beginTransaction(); for(int i=0;i<100000;i++) { Customer custom=new Customer(); custom.setName("user"+i); session.save(custom); if(i%50==0) // 以每50个数据作为一个处理单元,也就是我上面说的“一定的量”,这个量是要酌情考虑的 { session.flush(); session.clear(); } } 这样可以把系统维持在一个稳定的范围....

转载于:https://www.cnblogs.com/shenghaishiweini/p/3865901.html

你可能感兴趣的文章
旋转变换(一)旋转矩阵
查看>>
thinkphp3.2.3 bug集锦
查看>>
[BZOJ 4010] 菜肴制作
查看>>
C# 创建 读取 更新 XML文件
查看>>
KD树
查看>>
VsVim - Shortcut Key (快捷键)
查看>>
C++练习 | 模板与泛式编程练习(1)
查看>>
HDU5447 Good Numbers
查看>>
08.CXF发布WebService(Java项目)
查看>>
java-集合框架
查看>>
RTMP
查看>>
求一个数的整数次方
查看>>
点云PCL中小细节
查看>>
铁路信号基础
查看>>
RobotFramework自动化2-自定义关键字
查看>>
[置顶] 【cocos2d-x入门实战】微信飞机大战之三:飞机要起飞了
查看>>
BABOK - 需求分析(Requirements Analysis)概述
查看>>
第43条:掌握GCD及操作队列的使用时机
查看>>
Windows autoKeras的下载与安装连接
查看>>
CMU Bomblab 答案
查看>>