Amoro 0.6.0 发布：集成 Kubernetes 与 S3，支持 Apache Paimon

从数据到大模型应用，11 月 25 日，杭州源创会，共享开发小技巧

Amoro 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统，提供了一套可插拔的数据自优化机制和管理服务，旨在为用户带来开箱即用的湖仓使用体验。

2023 年 11 月 07 日，Amoro 0.6.0 版本正式更新发布！这个版本在 0.5.1 版本的基础上，增加了很多 feature，并且提升了可用性和稳定性，推荐各位用户和开发者升级到这个版本。在这次版本更新中，来自社区的 21 位贡献者付出了 118 次提交，感谢每位社区小伙伴的贡献！

01 重要更新

1.Kubernetes 集成

支持通过 Kubernetes 部署 AMS 和 Optimizer。

2. 与 S3 更友好的集成

3. Paimon format 支持

Apache paimon 是一个具备高速数据摄取，变更日志跟踪和高效的实时分析的实时数据湖平台。

在 Catalogs 页面支持支持注册 Paimon catalog。

注册完 catalog 以后，可以在 Tables 页面查看表的 Schema, Properties, Files, Snapshots, Optimizing, Operations 等信息。

可以在 Terminal 界面执行 paimon 支持的 Spark sql。

4. 分区及文件过期

现在只需要在表上进行一些简单的配置，则能开启按照时间自动过期表中文件或分区的功能，如：

 CREATE TABLE IF NOT EXISTS user (     id INT,     name string,     ts TIMESTAMP ) USING iceberg  PARTITIONED BY (days(ts));  ALTER TABLE user SET TBLPROPERTIES (     'data-expire.enabled' = 'true',     'data-expire.level' = 'partition',     'data-expire.field' = 'ts',     'data-expire.retention-time' = '30d' );

上面的例子开启了 user 表上的分区自动过期功能，AMS 会自动淘汰超过 30 天的分区。有关分区及文件自动过期的更多信息可以参考最新的用户手册：https://amoro.netease.com/docs/latest/using-tables/#configure-data-expiration。