正文

Dante OSS 1.2.0 发布，借鉴 JPA 标准化思想提取共性定义

admin
admin V管理员 /0 评论 /233 阅读
0728
此篇文章发布距今已超过484天，您需要注意文章的内容或图片是否可用！

简介 | Intro

Dante OSS 是一款简化 Minio 操作的开源框架。通过对原有 Minio Java SDK 的深度封装，简化 Minio API 使用复杂度，更方便的实现复杂的 Minio 管理操作，降低 Minio 应用开发门槛。

MinIO 是一款高性能、分布式的对象存储系统。Minio 这款开源的分布式对象存储服务在国外已经相当受欢迎，并且国内也有多中小型互联网公司使用它来作为对象存储服务。虽然 Minio 相关的资料和示例在网络上已经非常丰富，但是为什么还要推出 Dante OSS 这样的项目？

  • 初次接触 Minio，特别是想要通过 Java 集成 Minio 开发对象存储应用是，还是需要投入一定的时间和精力去了解其原理阅读相关文档。
  • Minio SDK 中的函数方法，涉及的参数较多，抽象层度比较高，每次使用都需要反复查阅源代码才能摸清具体使用方式。
  • 想要与已有的应用进行整合，多少都要投入时间精力，进行一定程度的封装和改造。
  • 网上相关资料多，要么比较零散不成体系，要么比较单一仅针对常规上传下载应用，Minio 自身很多特性都不涉及。

设计 | Design thinking

Dante OSS 最初的设计目标，是深度封装 Minio Java SDK，可以更方便的实现复杂的 Minio 管理操作。随着版本的不断迭代，以及更多用户需求的收集，Amazon S3、阿里云等 OSS 操作也不断地被融入进来，Dante OSS 的设计思想也在不断迭代。

目前 Amazon S3 已经成为 OSS 事实的标准，各 OSS 产品大多兼容 S3 标准。常规的、基础的 OSS 操作除了使用各厂商 OSS 提供的 SDK 外，使用 Amazon S3 SDK 也可以支持。如果你的需求仅是常规的上传、下载等，那么使用 Amazon S3 SDK 作为统一实现可完全满足。

但是如果您的需求涉及更丰富、更新细致的OSS管理功能，那么 Amazon S3 SDK 是无法满足的。因为即使相同的功能，比如说 Tagging、Replication，不同的 OSS 产品实现不同，至少请求参数和返回值就不同；还存在各 OSS 结合自身实际个性化定义的功能，比如说阿里云的 Qos、Vpcip 等。

因此，Dante OSS 在维持原有简化 Minio 常规及复杂管理操作目标的基础之上，借鉴 JPA 标准化设计思想，逐步提取和抽象 OSS 标准化操作，形成统一的 Java API 定义，同时封装可操作任意厂商的、统一的 REST API，形成定义统一、动态实现的应用模式（类似于 Hibernate 是 JPA 的一种实现），以方便不同 OSS 的切换和迁移。

发布 | Releases

  • 【主要更新】
    • [重构] 借鉴 JPA 标准化设计思想，逐步提取和抽象 OSS 标准化操作，形成统一的 Java API 定义，同时封装可操作任意厂商的、统一的 REST API，形成定义统一、动态实现的应用模式（类似于 Hibernate 是 JPA 的一种实现），以方便不同 OSS 的切换和迁移
    • [升级] Spring Boot 版本升级至 3.1.2
    • [新增] 新增 Amazon S3 相关代码模块。包含 S3 已知所有 API
    • [新增] 新增 Aliyun Java SDK 封装相关模块
  • 【其它更新】
    • [新增] 新增 Aliyun Java SDK 核心 API 封装 Service
    • [修复] 修复由 partNumber 起始序号错误，导致大文件分片上传失败问题。
    • [修复] 修复前端部分 Typescript 类型校验错误
    • [优化] 优化前端对象存储参数传递方式，替代原有 pinia 传值方式，删除无用的存储代码
    • [优化] 调整基础组件依赖所在包位置，让依赖包与包中代码用途匹配，提升各模块内聚性。
    • [重构] 重构前端 Minio 对象列表，提取组件，去除重复代码，支持文件夹内容显示
    • [重构] 所有 Minio 代码增加 Minio 前缀以便于区分不同类型 OSS 代码，防止名字冲突。
    • [重构] 提取 ClientObjectPool、OssClientPooledObjectFactory、BaseOssService等抽象定义，消除重复代码，固化抽象定义。
    • [重构] 调整包结构，将统一定义相关内容，单独提取为一个公共基础模块
    • [重构] 重构包结构，调整为支持不同厂商 OSS 作为可选实现方式、提取共性内容统一访问的结构形式。
    • [重构] 提取存储桶 doesBucketExist 抽象定义，形成统一操作 REST API
    • [重构] 提取存储桶 listBuckets 抽象定义，形成统一操作 REST API
  • 【依赖更新】
    • [升级] aws-java-sdk-s3 版本升级至 1.12.514

优点 | Advantages

  • 零额外学习成本: 开发者只要会 Spring 和 REST 基本开发，即可无缝集成和使用 Dante OSS
  • 降低开发者门槛: 屏蔽 Minio 标准 Java SDK 使用复杂度，使用 Spring 环境标准方式对原有 API 进行简化封装。Service API 和 REST API 开箱即用
  • 包含的功能丰富: 改造了 Minio Java SDK 的几乎全部功能，且对大文件分片上传、秒传、直传、断点续传等功能，均采用业内最优解决方案进行实现和融合
  • 规范优雅的代码: 所有函数参数，并未破坏原有 Minio 代码构造器结构，而是在原有方式的基础上抽象简化，编程体验和代码可读性大幅提升
  • 完善的注释文档: 对请求参数、方法、REST API、Validation 提供详实的注释、说明和 OpenAPI 标注，用途用法一目了然，无需再翻阅 Minio 文档和源代码，帮助您节省更多时间
  • 丰富的稳定保障: 统一的、人性化的错误体系、内置的 REST API 防刷、幂等保护、详实准确的 Spring Validation 校验。
  • 完整的前端示例：前端采用一个完整的项目而非 Demo 的形式，全面的展示了前后端交互涉及、接口调用、参数使用、TS 类型定义等各方面内容，可直接用于实际项目或简单改造后构建自己的产品

对比 | Compare

1. 不只是简单的 Spring Boot Starter 构建

  1. 构建统一的错误，可以返回更人性化、更易理解的错误信息，同时兼顾更详细错误信息的返回，方便开发人员理解和定位问题。
  2. 采用更易理解和使用的格式对 Minio Java SDK 参数进行重新定义。规避 Minio 默认 XML 方式参数多、不易理解使用、与前端交互不方便等问题。
  3. 隐藏 Minio Java SDK 不易理解和使用的细节，提供详实的注释说明，开发人员在使用时无需再通过翻阅 Minio 在线文档和源代码来了解各个 API 使用细节。
  4. 提供统一标准的 REST API，以及 OpenAPI Swagger3 文档描述和准确的 Spring Validation 校验，可直接集成至系统中使用。
  5. Minio Client 对象池、自定义极简 Minio Server 访问反向代理，提升
  6. 逐步丰富不同厂商 OSS 操作，作为不同 OSS 实现。
  7. 抽象统一 REST API，实现统一接口操作不同厂商 OSS。

2. 标准化业务逻辑和解决方案集合

  1. 不只是上传、下载等常用方法的封装，涵盖 Minio Java SDK 支持的所有方法和操作。
  2. 选择业内最优的解决方案，实现和集成大文件分片上传、秒传、直传、断点续传等主要业务需求功能。
  3. 结合自身应用经验和需求，将 Minio API 进一步组合成符合实际应用的业务逻辑和功能处理。
  4. 采用一个基于 Vue3、Typescript5、Vite4、Pinia 2 的完整的前端项目作为集成示例，包括详细的 Typescript 类型定义以及 vue-simple-uploader 等主流组件集成和使用方法。
  5. 提供基于 Spring Authorization Server 的单体版、微服务版案例，从 SDK、Spring Boot Starter 到完整项目任你选择。

3. 具体差异说明

具体差异，参见在线文档【功能说明章节】

结构 | Structure

 dante-oss ├── oss-bom -- Dante OSS 顶级 Maven 依赖，统一控制依赖及其版本 ├── oss-definition -- OSS 抽象定义 ├── oss-dialect -- 不同厂商 OSS 实现。 ├    ├── dialect-core -- 不同厂商 OSS 实现通用代码模块 ├    ├── dialect-sdk-aliyun -- Aliyun OSS Java SDK 封装代码模块 ├    ├── dialect-sdk-minio -- Minio OSS Java SDK 封装代码模块 ├    └── dialect-sdk-s3 -- Amazon S3 OSS Java SDK 封装代码模块 ├── oss-rest -- OSS 操作 REST 模块 ├    ├── rest-sdk-integration -- 支持不同厂商OSS的统一通用 REST API， ├    ├── rest-sdk-minio -- Minio 基础 REST API模块 ├    └── rest-sdk-scenario -- Minio 扩展及应用方案整合模块 ├── oss-starter -- Dante OSS 相关 Starter ├    ├── oss-aliyun-spring-boot-starter -- 用于独立使用的 Aliyun OSS Java SDK 封装 Starter。 ├    ├── oss-minio-spring-boot-starter -- 用于独立使用的 Aliyun OSS Java SDK 封装 Starter。 ├    ├── oss-s3-spring-boot-starter -- 用于独立使用的 Aliyun OSS Java SDK 封装 Starter。 └──  └── oss-spring-boot-starter -- Dante OSS 统一 Starter

使用 | How to use

除了 dialect-core 和 oss-definition 模块以外，其它所有模块均可以单独使用。可以根据自身需要，仅选择某个模块进行使用。

1. dialect-sdk-aliyun

包含对 Aliyun 基础 API 封装的 Service 代码, 可以单独使用，也可作为 OSS 统一抽象的实现方式之一，通过修改配置生效使用。使用 oss-aliyun-spring-boot-starter 可开启自动配置。

目前暂不提供 Aliyun REST API 封装，请根据自身的需要直接申请使用阿里云 REST API。

2. dialect-sdk-s3

包含对 Amazon S3 基础 API 封装的 Service 代码, 可以单独使用，也可作为 OSS 统一抽象的实现方式之一，通过修改配置生效使用。使用 oss-s3-spring-boot-starter 可开启自动配置。

目前暂不提供 Amazon REST API 封装，如需使用根据设置需要申请使用。

3. dialect-sdk-minio

包含对 Minio 基础 API 封装的 Service 代码, 可以单独使用，也可作为 OSS 统一抽象的实现方式之一，通过修改配置生效使用。

提供 Minio 标准操作 REST API 封装 rest-sdk-minio（不包含大文件分片上传等扩展性业务功能）。

使用 oss-minio-spring-boot-starter 可统一开启 Minio Service 和 REST API 自动配置。

4. rest-sdk-integration

rest-sdk-integration 是通过对 Minio、Aliyun、Amazon S3 现有 API 共性内容抽象，形成的统一操作 REST API。目标是形成类似于 Spring Data Repository 形式的统一 REST API，一套 REST API 支持不同的 OSS 厂商。

5. rest-sdk-minio

提供 Minio 标准操作 REST API 封装。使用 oss-minio-spring-boot-starter 可统一开启 Minio Service 和 REST API 自动配置。

6. rest-sdk-scenario

Minio 标准操作 API 之外的，大文件分片、端点续传等主流对象存储业务解决方案以及 Minio 管理 API 的封装。目前仅支持 Minio 相关操作

7. oss-spring-boot-starter

Dante OSS 的所有内容，可直接引入使用。以 OSS 共性抽象为基础，通过 Spring Boot 配置，实现不同 OSS 操作实现的切换。目前以 Minio 作为默认实现，同时提供 Minio 相关完整的 REST API。Aliyun 和 Amazon S3 目前仅包含对其 Java SDK 封装的 Service API，作为不同 OSS 实现的可选项。如要使用其 REST API 的方式，请直接按照对应厂商官网文档操作申请即可，暂不考虑将这一部分融入 Dante OSS。

宙飒天下网