正文

Dante OSS 1.2.8 发布，抽象统一定义像用 JPA 一样玩转 OSS

admin
admin V管理员 /0 评论 /271 阅读
0815
此篇文章发布距今已超过455天，您需要注意文章的内容或图片是否可用！

简介 | Intro

Dante OSS 是一款简化对象存储（OSS）操作的开源框架。借鉴 JPA 标准化设计思想，逐步提取和抽象各厂商 OSS 标准化操作，构建统一的 Java OSS API 规范。形成类似于 JPA 规范的、以 Java OSS API 为核心的、不同 OSS 厂商 SDK 为实现的对象存储使用模式，方便大家在不同厂商 OSS 之间切换而不需要修改代码。

目标 | Goal

  • 构建类似于 JPA 的 Java OSS API 规范，目标在不改变 API 的情况，通过切换厂商 OSS SDK 实现即可完成对象存储的切换。
  • 不局限于常用的上传、下载，而是覆盖所有 OSS SDK 的共性操作。不仅可以方便的实现上传、下载，而且可以快速构建自己的 OSS 管理应用。
  • 对共性操作提供统一的 Java API 和 REST API，对 OSS 厂商个性化操作视情况提供单独的 REST API 实现。

设计 | Design thinking

Dante OSS 最初的设计目标，是深度封装 Minio Java SDK，可以更方便的实现复杂的 Minio 管理操作，同时提升使用 Minio 自定义开发的便捷度。随着版本的不断迭代，以及更多用户需求的收集，Dante OSS 的设计思想也在不断迭代。

随着 Amazon S3、阿里云等不同 OSS 厂商 SDK 的不断融入，发现虽然各 OSS 产品大多兼容 S3 标准，使用 Amazon S3 SDK 是可以完成其它厂商的 OSS 操作，但也仅限于常规的、基础的 OSS 操作，不能充分发挥个厂商 OSS 的特性。而且由于实现的不同，即使相同的 OSS 操作，传递的参数和返回值也不同，是的相同业务逻辑的代码，如果使用 A 厂商 SDK 实现，在 B 厂商 SDK 上是无法使用的，必须要重新实现一遍才能使用，这极大地的提高了迁移 OSS 的成本。

虽然，现在也有很多优秀的对象存储操作的封装框架，可以支持的 OSS 厂商 非常多，但是其中支持的操作没有那么丰富。Dante OSS 的目标除了满足 OSS 常规操作的使用以外，还行希望提供更丰富的、统一的 OSS 管理操作，用户可以更方便的在自己的应用中集成和开发更丰富、更新细致 OSS 管理功能。

因此，Dante OSS 在维持原有简化 Minio 管理操作目标的基础之上，借鉴 JPA 标准化设计思想，提取和抽象 OSS 标准化操作，形成统一的 Java OSS API 规范。同时封装可操作任意厂商的、统一的 REST API，形成定义统一、动态实现的应用模式（类似于 Hibernate 是 JPA 的一种实现，Hibernate 以 Dialect 方式支持不同的数据库一样），以方便不同 OSS 的切换和迁移。

目前以 Minio 作为 Java OSS API 规范的默认实现，提供Aliyun、Amazon S3 Dialect。仅提供 Minio 个性化操作 REST API 实现。

发布 | Releases

  • [新增] 新增对象列表和对象列表V2抽象定义及对应 REST API。
  • [新增] 新增对象删除和对象批量删除抽象定义及对应的统一 REST API。
  • [新增] 新增对象存储分片上传相关方法统一抽象定义
  • [新增] 新增基于统一定义分片上传相关方法的 Minio Dialect 实现
  • [新增] 新增基于统一定义分片上传相关方法的 Amazon S3 Dialect 实现
  • [新增] 新增基于统一定义分片上传相关方法的 Aliyun Dialect 实现
  • [重构] 重构前端 OSS 存储桶管理 Typescript 定义和管理服务，修改为使用后端 REST API 实现，并完成前后端联调验证。
  • [重构] 提取Minio、Aliyun 和 S3 请求参数转换抽象定义，方便后续接口转换为统一定义模式
  • [重构] 重构 Minio 对象列表相关方法，以适配对象存储统一定义对象列表的定义实现
  • [重构] 重构自定义扩展的 MinioAsyncClient 对象，补全分片上传相关的方法扩展
  • [重构] 重构 MinioMultipartUploadService 代码，对照自定义扩展的 MinioAsyncClient，补全所有分片上传相关方法以及重载方法
  • [重构] 重构 MinioChunkUploadService 代码，删除所有 region 参数
  • [修复] 修复存储桶列表统一 REST API 模式下，Aliyun 和 S3 实体属性转换错误。
  • [优化] 优化存储桶新增、删除、列表、是否存在等基础功能抽象定义及统一 REST API 实现。
  • [删除] 删除无用的或老旧代码

 

优点 | Advantages

  • 零额外学习成本: 开发者只要会 Spring 和 REST 基本开发，即可无缝集成和使用 Dante OSS
  • 降低开发者门槛: 屏蔽 Minio 等 Java OSS SDK 使用复杂度，使用 Spring 环境标准方式对原有 API 进行简化封装。Service API 和 REST API 开箱即用
  • 统一的开发接口: 构建统一的 Java OSS API 规范，形成统一的 Service API 和 REST API 接口，不需要修改代码即可切换不同厂商 OSS
  • 包含的功能丰富: 改造了 Minio Java SDK 的几乎全部功能，且对大文件分片上传、秒传、直传、断点续传等功能，均采用业内最优解决方案进行实现和融合
  • 规范优雅的代码: 所有函数参数，并未破坏原有 OSS SDK 代码构造器结构，而是在原有方式的基础上抽象简化，编程体验和代码可读性大幅提升
  • 完善的注释文档: 对请求参数、方法、REST API、Validation 提供详实的注释、说明和 OpenAPI 标注，用途用法一目了然，无需再翻阅 Minio 文档和源代码，帮助您节省更多时间
  • 丰富的稳定保障: 统一的、人性化的错误体系、内置的 REST API 防刷、幂等保护、详实准确的 Spring Validation 校验。
  • 完整的前端示例：前端采用一个完整的项目而非 Demo 的形式，全面的展示了前后端交互涉及、接口调用、参数使用、TS 类型定义等各方面内容，可直接用于实际项目或简单改造后构建自己的产品

结构 | Structure

 dante-oss ├── oss-bom -- Dante OSS 顶级 Maven 依赖，统一控制依赖及其版本 ├── oss-definition -- OSS 抽象定义 ├── oss-dialect -- 不同厂商 OSS 实现。 ├    ├── dialect-core -- 不同厂商 OSS 实现通用代码模块 ├    ├── dialect-sdk-aliyun -- Aliyun OSS Java SDK 封装代码模块 ├    ├── dialect-sdk-minio -- Minio OSS Java SDK 封装代码模块 ├    └── dialect-sdk-s3 -- Amazon S3 OSS Java SDK 封装代码模块 ├── oss-rest -- OSS 操作 REST 模块 ├    ├── rest-sdk-integration -- 支持不同厂商OSS的统一通用 REST API， ├    ├── rest-sdk-minio -- Minio 基础 REST API模块 ├    └── rest-sdk-scenario -- Minio 扩展及应用方案整合模块 ├── oss-starter -- Dante OSS 相关 Starter ├    ├── oss-aliyun-spring-boot-starter -- 用于独立使用的 Aliyun OSS Java SDK 封装 Starter。 ├    ├── oss-minio-spring-boot-starter -- 用于独立使用的 Aliyun OSS Java SDK 封装 Starter。 ├    ├── oss-s3-spring-boot-starter -- 用于独立使用的 Aliyun OSS Java SDK 封装 Starter。 └──  └── oss-spring-boot-starter -- Dante OSS 统一 Starter

使用 | How to use

除了 dialect-core 和 oss-definition 模块以外，其它所有模块均可以单独使用。可以根据自身需要，仅选择某个模块进行使用。

1. dialect-sdk-aliyun

包含对 Aliyun 基础 API 封装的 Service 代码, 可以单独使用，也可作为 OSS 统一抽象的实现方式之一，通过修改配置生效使用。使用 oss-aliyun-spring-boot-starter 可开启自动配置。

目前暂不提供 Aliyun REST API 封装，请根据自身的需要直接申请使用阿里云 REST API。

2. dialect-sdk-s3

包含对 Amazon S3 基础 API 封装的 Service 代码, 可以单独使用，也可作为 OSS 统一抽象的实现方式之一，通过修改配置生效使用。使用 oss-s3-spring-boot-starter 可开启自动配置。

目前暂不提供 Amazon REST API 封装，如需使用根据设置需要申请使用。

3. dialect-sdk-minio

包含对 Minio 基础 API 封装的 Service 代码, 可以单独使用，也可作为 OSS 统一抽象的实现方式之一，通过修改配置生效使用。

提供 Minio 标准操作 REST API 封装 rest-sdk-minio（不包含大文件分片上传等扩展性业务功能）。

使用 oss-minio-spring-boot-starter 可统一开启 Minio Service 和 REST API 自动配置。

4. rest-sdk-integration

rest-sdk-integration 是通过对 Minio、Aliyun、Amazon S3 现有 API 共性内容抽象，形成的统一操作 REST API。目标是形成类似于 Spring Data Repository 形式的统一 REST API，一套 REST API 支持不同的 OSS 厂商。

5. rest-sdk-minio

提供 Minio 标准操作 REST API 封装。使用 oss-minio-spring-boot-starter 可统一开启 Minio Service 和 REST API 自动配置。

6. rest-sdk-scenario

Minio 标准操作 API 之外的，大文件分片、端点续传等主流对象存储业务解决方案以及 Minio 管理 API 的封装。目前仅支持 Minio 相关操作

7. oss-spring-boot-starter

Dante OSS 的所有内容，可直接引入使用。以 OSS 共性抽象为基础，通过 Spring Boot 配置，实现不同 OSS 操作实现的切换。目前以 Minio 作为默认实现，同时提供 Minio 相关完整的 REST API。Aliyun 和 Amazon S3 目前仅包含对其 Java SDK 封装的 Service API，作为不同 OSS 实现的可选项。如要使用其 REST API 的方式，请直接按照对应厂商官网文档操作申请即可，暂不考虑将这一部分融入 Dante OSS。

宙飒zhousa.om