正文

【Java orm 框架比较】十二 大表测试新增四十字段测试，优化 jpa 及部分框架使用

admin
admin V管理员 /0 评论 /175 阅读
0522
此篇文章发布距今已超过316天，您需要注意文章的内容或图片是否可用！

【深圳】源创会：5.26下午、轰趴馆等你”

【Java orm 框架比较】十二 大表测试新增四十字段测试，优化jpa及部分框架使用

优化项

  • 时间 2024年5月7日
    • 添加 wood框架对比测试数据库存储和查询
    • 测试结果容易上手快速集成，但是内部使用了大量字符串不易于编写
  • 时间 2024年5月8日
    • 针对mysql 配置 rewriteBatchedStatements=true 保存时间明显提高
  • 时间：2024年5月9日
    • 事件 新增hammer_sql_db框架对比测试，该框架上手比较简单比较灵活
    • 测试结果hammer_sql_db 批量存储做的很优秀，但当分页获取数据量超过一万后分页查询性能开始下降
  • 时间：2024年5月11日
    • 事件 新增原生jdbc测试
    • 测试结果 因为未对jdbc过分优化，从结果过上看insertBatch 存在一定优势但是不大、分页查询结果集映射单纯for循环迭代会很慢
  • 时间：2024年5月20日
    • 事件 优化easy-query批量新增
    • 测试结果 优化后easy-query 批量新增数据趋于稳定
  • 时间：2024年5月21日
    • 事件 优化jpa数据存储、十万数据存储操作分批处理，表结构新增四十个测试字段
    • 测试结果 优化后jpa 批量新增数据趋于稳定事件大大缩减，新增四十个字段后所有ORM框架处理时间明显增多，但不是呈现倍数增加

issues 处理

  • #I9Q8UD
    • 事件：大表大数据处理，在原先表结构上增加40个字段
    • 测试结果：当表结构修改时使用原生sql需要修改(db_visitor、原生jdbc、mybatis、mybatis-flex、mybatis-mp),相反使用lambda表达式则不需要过多调整
    • 问题：
      • 如果表不存在hammer框架回无法启动，已经提交开发者issues
      • 使用过程中如果字段中包含下划线那么hammer 框架必须声明字段框架否则数据无法插入影响测试结果，对应的issues已经提交
  • #I9QGIL
    • 事件：easy-query 优化测试结果
  • #I9QDC7
    • 事件： 新增结果导出Excel
  • #I9P24G
    • 优化纯jdbc测试

关注公众号第一时间获取动态

小吴小吴bug全无

迁移到（https://gitee.com/wujiawei1207537021/spring-orm-integration-compare）

orm框架使用性能比较

比较mybatis-plus、lazy、sqltoy、mybatis-flex、easy-query、mybatis-mp、jpa、dbvisitor、beetlsql、dream_orm、wood、hammer_sql_db、原生jdbc 操作数据

环境：

 idea  jdk17 spring boot 3.0.7 mysql 8.0

测试条件常规对象

orm 框架 是否支持xml 是否支持 Lambda 对比版本 编码方式
mybatis ☑️ ☑️ 3.5.4 lambda +xml 优化
sqltoy ☑️ ☑️ 5.2.98 lambda
lazy ✖️ ☑️ 1.2.4-JDK17-SNAPSHOT lambda
mybatis-flex ☑️ ☑️ 1.8.0 lambda +xml 优化
easy-query ✖️ ☑️ 1.10.31 lambda
mybatis-mp ☑️ ☑️ 1.4.1 xml 优化
jpa ☑️ ☑️ 3.0.7 ----------------------
dbvisitor ☑️ ☑️ 5.4.1 xml 优化
beetlsql 支持md ☑️ 3.26.0-RELEASE insert ignore into 优化
dream_orm ✖️ ☑️ 1.3.0 insert ignore into (当前版本不支持)
wood ☑️ ☑️ 1.2.9 insert ignore into (当前版本不支持)
hammer_sql_db ☑️ ☑️ 0.7.0 insert ignore into (当前版本不支持)
jdbc ✖️ ✖️    

数据库表(含有唯一性索引s_u)

 CREATE TABLE `sys_user` (     `column_name` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '额外字段',     `create_time` datetime                                DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '创建时间',     `id`          bigint NOT NULL AUTO_INCREMENT COMMENT '用户ID',     `is_deleted`  tinyint(1) DEFAULT NULL COMMENT 'null',     `password`    varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '密码',     `scope`       varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT 'null',     `status`      tinyint(1) DEFAULT NULL COMMENT '状态',     `update_time` datetime                                DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',     `username`    varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '用户名',     PRIMARY KEY (`id`) USING BTREE,     UNIQUE KEY `s_u` (`scope`,`username`) ) ENGINE=InnoDB AUTO_INCREMENT=9223371632070323791 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

比较方法:增加、修改、删除、分页查询（当前项目暂时只比较批量新增和分页）

项目设计

  • 声明 ORMRepository 接口提供对应增删改查方法 

  • 声明 ORMComparisonRepository接口 继承 ORMRepository 下游由不同ORM实现

  • 声明 SysUserRepository 接口 继承 ORMRepository 用于循环调用不同orm实现方法执行方法测试产生测试结果

  • 声明抽象类 SysUserRepositoryAbstractRecord 继承 ORMComparisonRepository 并且提供对应的框架执行结果存储 

  • 不同ORM框架mybatis-plus、sqltoy、Lazy、easy-query、mybatis-mp、jpa、dbvisitor、beetlsql、dream_orm、wood、hammer_sql_db、原生jdbc 创建 ORMComparisonRepository 的实现

  • 不同 ORM 操作数据的实现

 

测试条件 批量插入数据 10、100、1000、10000、100000 ，分页查询数据 10、100、1000、10000、100000

 项目启动后使用浏览器打开 http://localhost:1003/sys/user/run-compare

测试条件（细节比较） 批量插入数据 1～10000，分页查询数据 1～10000

 项目启动后使用浏览器打开 http://localhost:1003/sys/user/run-particulars-compare

导出测试数据为MD

 项目启动后使用浏览器打开 http://localhost:1003/sys/user/export-compare-result

测试执行过程

 清空需要插入表中所有数据 通过ORM框架进行数据批量新增、而后进行分页查询，记录消耗时间，输出md文档

查看结果曲线图

测试结果（结果只提供参考）

MYBATIS_FLEX(batchStory) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 30毫秒 38毫秒 315毫秒 3039毫秒 29074毫秒
WOOD(batchStory) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 19毫秒 15毫秒 113毫秒 943毫秒 10737毫秒
MYBATIS_MP(batchStory) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 23毫秒 41毫秒 282毫秒 2848毫秒 26228毫秒
MYBATIS_PLUS(batchStory) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 53毫秒 45毫秒 323毫秒 2657毫秒 26622毫秒
SQLTOY(batchStory) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 41毫秒 19毫秒 109毫秒 978毫秒 9590毫秒
LAZY(batchStory) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 7毫秒 27毫秒 165毫秒 1754毫秒 14512毫秒
JDBC(batchStory) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 85毫秒 12毫秒 141毫秒 865毫秒 6673毫秒
DB_VISITOR(batchStory) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 24毫秒 49毫秒 169毫秒 957毫秒 9831毫秒
JPA(batchStory) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 71毫秒 45毫秒 198毫秒 1607毫秒 19806毫秒
EASY_QUERY(batchStory) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 67毫秒 29毫秒 180毫秒 1251毫秒 13259毫秒
HAMMER_SQL_DB(batchStory) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 61毫秒 29毫秒 207毫秒 1838毫秒 15699毫秒
DREAM_ORM(batchStory) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 69毫秒 22毫秒 154毫秒 1140毫秒 12077毫秒
BEETL_SQL(batchStory) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 266毫秒 53毫秒 167毫秒 1368毫秒 13299毫秒
MYBATIS_FLEX(findPage) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 30毫秒 13毫秒 67毫秒 532毫秒 5350毫秒
WOOD(findPage) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 9毫秒 23毫秒 56毫秒 424毫秒 4776毫秒
MYBATIS_MP(findPage) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 31毫秒 14毫秒 57毫秒 433毫秒 4481毫秒
MYBATIS_PLUS(findPage) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 41毫秒 17毫秒 64毫秒 442毫秒 4371毫秒
SQLTOY(findPage) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 27毫秒 6毫秒 37毫秒 218毫秒 2026毫秒
LAZY(findPage) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 26毫秒 14毫秒 47毫秒 415毫秒 2507毫秒
JDBC(findPage) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 4毫秒 8毫秒 53毫秒 384毫秒 3368毫秒
DB_VISITOR(findPage) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 38毫秒 10毫秒 36毫秒 372毫秒 3491毫秒
JPA(findPage) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 99毫秒 27毫秒 87毫秒 353毫秒 3396毫秒
EASY_QUERY(findPage) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 136毫秒 10毫秒 39毫秒 238毫秒 2182毫秒
HAMMER_SQL_DB(findPage) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 161毫秒 17毫秒 71毫秒 601毫秒 5891毫秒
DREAM_ORM(findPage) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 86毫秒 15毫秒 37毫秒 245毫秒 2156毫秒
BEETL_SQL(findPage) 影响行数:10 影响行数:100 影响行数:1000 影响行数:10000 影响行数:100000
执行时间: 54毫秒 21毫秒 47毫秒 339毫秒 3296毫秒

写在最后

经过不间断时间的框架收集、学习、实验、编码、测试市面上常见的ORM框架，过程中拜读了很多作者的博文、样例，学习很多收获很多。 重新梳理下整理的框架：mybatis-plus、lazy、sqltoy、mybatis-flex、easy-query、mybatis-mp、jpa、dbvisitor、beetlsql、dream_rom、wood、hammer_sql_db、原生jdbc

下面从一下几点出发作出总结

  • 文档方面：学习过程中mybatis-plus、jpa、db_visitor提供的文档资料是比较全和完善，经得住市场的考验
  • 技术方面：beetlsql、easy-query、mybatis、wood、db_visitor系列 三类框架都已经支持spring 和solon生态 其技术架构设计可以推荐大家学习
  • 并发方面：jpa、db_visitor 还需要开发时候深度优化处理
  • 大数据存储方面： Lazy 、原生jdbc具有一定优势
  • 大数据查询方面：sqltoy、dream_orm、Easy_query、lazy、db_visitor 反射处理的比较优秀
  •  

小数据量下各ORM框架处理时间大体相近或者通过优化后趋于一致，重点看一万数据以后框架处理能力体现价值

以上是个人整理的观点，如果大家有不同的想法和意见可以在gitee或者个人博客留言CSDN

细节数据对比（一万以内基本相差不大）

  • 细节数据对比，数据属于并发行测试数据，如果测试总数是一百，那么会执行一百次batchStory，一百次findPage 每次执行的条数在之前数据的基础上+1

从形成的折线图看（具体趋势看排名与测试结果）

  • 存储性能对比: lazy、原生jdbc、mybatis-flex、mybatis-mp、mybatis-plus、dream_rom、sqltoy、beetlSql、hammer_sql_db、db_visitor、easy-query 更适合并发性数据存储。jpa 处理耗时较长波动较大
  • 分页查询性能对比: lazy、mybatis-flex、mybatis-mp、mybatis-plus、 dream_rom、easy-query、sqltoy、db_visitor、beetlSql 、jpa、hammer_sql_db、原生jdbc都比较稳定。

批量保存：

  • 一万条数据以内 原生jdbc、lazy、mybatis-flex、mybatis-mp、mybatis-plus、easy-query、sqltoy、beetlSql、jpa、db_visitor、wood、hammer_sql_db 性能趋于一致
  • 十万数据时，处理时间由快到慢依次是:
    • 两万毫秒以内:原生jdbc、sqltoy、db_visitor、wood、beetl_sql、dream_rom、easy-query、lazy、hammer_sql_db、
    • 两万毫秒以上: jpa、mybatis-plus、mybatis-mp、mybatis-flex

分页查询：

  • 一万条数据以内 几款ORM均保持在600毫秒内
  • 十万数据时，处理时间由快到慢依次是:
    • 四千毫秒以内：sqltoy、dream_rom、lazy、easy-query、beetlSql、jpa、db_visitor
    • 四千毫秒以上：原生jdbc、mybatis-mp、mybatis-plus、wood、mybatis-flex、hammer_sql_db

快速数据对比(大数据曲线图)

当前项目地址

lazy-orm地址

mybatis地址

sqltoy地址

mybatis-flex地址

easy-query地址

mybatis-mp地址

dbvisitor地址

beetlsql地址

dream-orm地址

wood地址

hammer_sql_db地址

ZhouSa.com-宙飒天下网