原文链接: spring data jpa开启批量插入、批量更新 - 曲高终和寡 - 博客园

最近准备上spring全家桶写一下个人项目，该学的都学学，其中ORM框架，最早我用的是jdbcTemplate，后来用了Mybatis，唯独没有用过JPA（Hibernate）系的，过去觉得Hibernate太重量级了，后来随着springboot和spring data jpa出来之后，让我觉得好像还不错，再加上谷歌趋势。。。

只有中日韩在大规模用Mybatis（我严重怀疑是中国的外包），所以就很奇怪，虽然说中国的IT技术在慢慢抬头了，但是这社会IT发展的主导目前看来还是美国、欧洲，这里JPA、Hibernate是绝对的主流，那么我觉得学习并以JPA为主开发是我接下来个人项目的选择。

那么经过几天简单的摸索，发现JPA可以说是非常的好用，尤其DDD设计思想简直完美符合现在springboot、微服务的设计理念（仅代表个人看法）。

不过呢，在使用过程中就会遇到一个问题，我之前写的爬虫插入效率非常低，一方面是因为我服务器上Mysql表现的极差，详情请看：

[评测]低配环境下，PostgresQL和Mysql读写性能简单对比（欢迎大家提出Mysql优化意见）

另外一方面，JPA的批量插入源码：

看日志，JPA是先把所有的数据全查出来了，如果数据库有就更新，没有就新增。我们再看一下阿里的监控，如果没有配可以按照这个文章里面的方法配

springboot2.0配置连接池（hikari、druid）

我插了5条数据，结果执行了10次sql，这特么。。。我不太能理解，可能是我太菜了？我跑脚本至少了成千上万条数据往库里插，这种写法得给我辣鸡数据库写死。

并且这样效率也太低了吧，查询不会用in？insert不会拼sql？并且很多场景我自己能控制是插入还是新增,我根本不需要你给我校验一次，我只想安安静静的插数据，那么有没有办法呢？有的。

在配置文件里加入：

spring.jpa.properties.hibernate.jdbc.batch_size=500
spring.jpa.properties.hibernate.jdbc.batch_versioned_data=true
spring.jpa.properties.hibernate.order_inserts=true
spring.jpa.properties.hibernate.order_updates =true

这个batch size建议设置成你数据库每秒最大写入数/2 ，没有理由只是我自己感觉这样好一点。。。

自己在repository里面定义两个接口 batchSave，batchUpdate并实现：

@Override
    @Transactional
    public <S extends T> Iterable<S> batchSave(Iterable<S> var1) {
        Iterator<S> iterator = var1.iterator();
        int index = 0;
        while (iterator.hasNext()){
            em.persist(iterator.next());
            index++;
            if (index % BATCH_SIZE == 0){
                em.flush();
                em.clear();
        if (index % BATCH_SIZE != 0){
            em.flush();
            em.clear();
        return var1;
@Override
    public <S extends T> Iterable<S> batchUpdate(Iterable<S> var1) {
        Iterator<S> iterator = var1.iterator();
        int index = 0;
        while (iterator.hasNext()){
            em.merge(iterator.next());
            index++;
            if (index % BATCH_SIZE == 0){
                em.flush();
                em.clear();
        if (index % BATCH_SIZE != 0){
            em.flush();
            em.clear();
        return var1;
然后对批量插入的入口稍作改动，改成刚刚自己实现的调用batchSave的方法
 
我们运行一下看看结果：
 
这次500条用了778毫秒，跟之前5条712相差不多，但是我们大家看到了，控制台打印了500条插入语句。。。这个导致我一度以为批量插入失败了，按理说看时间是成功了呀，所以后来配置了阿里的监控一看：
 
放心了，是Hibernate自己日志打印有问题，所以后来我给Hibernate日志打印关掉了，专心用阿里的druid
 
                    https://www.cnblogs.com/blog5277/p/10661096.htmlspring data jpa开启批量插入、批量更新原文链接:spring data jpa开启批量插入、批量更新 - 曲高终和寡 - 博客园最近准备上spring全家桶写一下个人项目，该学的都学学，其中ORM框架，最早我用的是jdbcTemplate，后来用了Mybatis，唯独没有用过JPA（Hibernate）系的，过去觉得Hibernate太重量级了，后来随着springboot和sp
spring.jpa.properties.hibernate.jdbc.batch_size=500
spring.jpa.properties.hibernate.jdbc.batch_versioned_data=true
				
是否想改善您的插入记录？在本文中，您可以学习如何使用Spring Data JPA将批量插入性能提高100倍。
我遇到了一个问题，我想将数百万条记录插入数据库，而这需要从文件中导入。
因此，我对此进行了一些研究，并希望与您分享我发现的发现，这些发现帮助我将插入记录的吞吐量提高了近100倍。
最初，当我只是尝试使用spring JPA的saveAll方法进行批量插入时，每10,000条记录获得约185秒的性能。在执行以下更改之后，插入10,000条记录的性能仅需4.3秒。
是的，每10k记录4.3秒。
				
jpa 批量更新数据
1、在@Query注解中编写JPQL实现DELETE和UPDATE操作的时候必须加上@modifying注解，以通知Spring Data 这是一个DELETE或UPDATE操作
2、UPDATE或者DELETE操作需要使用事务，此时需要 定义Service层，在Serv...
				
我们使用JPA的saveAll的时候，会发现这个方法特别慢，我在本地做的测试是插入10万条数据的时候，耗时51503ms，和JDBC方式的批量处理对比后就会发现，性能差了百倍，所以我们要优化下我们的代码。
一：修改setId的策略
   我们观察就会发现，在saveAll传入的对象里面，设置了id的情况下，JPA会根据id去执行一条select语句，数据量越多，和数据库交互次数越多，这个操作会极大的拖慢性能，那我们首要解决的，就是不让JPA去执行select。解决办法有两个，麻烦一点的是这样的，实
				
在 Spring Data JPA 中，多表关联插入可以通过实体类之间的关联来实现。以下是一个简单的示例：
假设我们有两个实体类 `User` 和 `Order`，它们之间是多对一的关系，一个用户可以有多个订单。
```java
@Entity
@Table(name = "users")
public class User {
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;
    private String name;
    @OneToMany(mappedBy = "user")
    private List<Order> orders;
    // getters and setters
@Entity
@Table(name = "orders")
public class Order {
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;
    private String productName;
    @ManyToOne
    @JoinColumn(name = "user_id")
    private User user;
    // getters and setters
在 `User` 类中，我们使用 `@OneToMany` 注解来定义与 `Order` 实体类的一对多关系，`mappedBy` 属性指定了 `Order` 实体类中与 `User` 实体类的关联属性名为 `user`。
在 `Order` 类中，我们使用 `@ManyToOne` 注解来定义与 `User` 实体类的多对一关系，`@JoinColumn` 注解用于指定与 `User` 实体类的关联属性名为 `user_id`。
在插入数据时，我们需要先创建一个 `User` 实体类，并为其添加一个或多个 `Order` 实体类，然后将 `User` 实体类保存到数据库中。以下是一个示例代码：
```java
User user = new User();
user.setName("张三");
Order order1 = new Order();
order1.setProductName("商品1");
order1.setUser(user);
Order order2 = new Order();
order2.setProductName("商品2");
order2.setUser(user);
List<Order> orders = new ArrayList<>();
orders.add(order1);
orders.add(order2);
user.setOrders(orders);
userRepository.save(user);
在上述代码中，我们创建了一个 `User` 实体类，为其添加了两个 `Order` 实体类，并将 `Order` 实体类的 `user` 属性设置为 `User` 实体类。然后，我们将 `Order` 实体类添加到 `List` 中，将 `List` 设置为 `User` 实体类的 `orders` 属性，并将 `User` 实体类保存到数据库中。
当我们保存 `User` 实体类时，JPA 会自动将 `Order` 实体类也保存到数据库中，因为 `Order` 实体类与 `User` 实体类有关联关系。