wfs 海量小文件存储系统 v1.0.3

前言：wfs 是高性能海量小文件存储系统，支持Linux，Windows，Macos，FreeBSD等系统，可以高效地进行文件存储和读取。wfs 支持文件压缩归档，并提供简洁的数据读取方式和文件后台管理和以及归档文件的碎片整理等。

WFS官网

在线测试（用户名 admin 密码 123）

WFS文件存储系统 V1.0.3 主要更新

支持增量导出元数据
支持增量导出原始数据
支持多种文件数据指纹算法

说明：导出导入元数据与原始数据，请参考《wfs使用文档》

增量原始数据备份

原始数据导出后，数据文件可以导入到任意wfs节点中。

关键字	值	作用	是否必须
-file		表示导出原始数据	是
-start	0	表示导出起始序号	是
-limit	0	表示导出条数	是
-gz		表示将导出的原始文件数据进行压缩	否

示例：

./linux103_wfs -s export -file -start 1 -limit 10
./linux103_wfs -s export -p /usr/local/wfsdata -file -start 10 -limit 10
./linux103_wfs -s export -p /usr/local/wfsdata -o filedata -file -gz -start 20 -limit 10
./linux103_wfs -s export -host 192.168.2.101:6801 -user admin -pwd 123 -file -start 20 -limit 10

示例解析

导出原始数据起始id为 1 和之后的数据，共 10条
导出本地目录为 /usr/local/wfsdata 的原始数据，起始id为 10 和之后的数据，共 10条
导出本地目录为 /usr/local/wfsdata 的原始数据到 filedata 文件中，并进行压缩，起始id为 20 和之后的数据，共 10条
远程导出原始数据起始id为 20 和之后的数据，共 10条

操作日志

 ./linux103_wfs -s export -file -host 192.168.15.133:6801 -tls  -start 1 -limit 10  -user admin -pwd 123 2024-03-21 00:02:41，export file data>> wfsfile20240321000241_1_12 ( 65 ms)

导入原始数据

关键字	值	作用	是否必须
-file	0	表示导入的是原始数据	是

示例

./linux103_wfs -s import -file -o wfsfile20240321000241_1_12
./linux103_wfs -s import -file -p /usr/local/wfsdata -o wfsfile20240321000241_1_12
./linux103_wfs -s import -file -host 192.168.2.101:6801 -user admin -pwd 123 -tls -o wfsfile20240321000241_1_12

示例解析

导入原始数据到本地wfs （wfs数据目录与linux103_wfs 同目录）
导入原始数据到数据目录为 /usr/local/wfsdata 的wfs服务
导入原始数据到服务后台为https://192.168.2.101:6801 用户名密码为admin 123 的wfs服务

操作日志

 ./linux103_wfs  -s  import -file -o  wfsfile20240320224718_1_12 2024-03-20 22:47:47，import file >> wfsfile20240320224718_1_12 ( 28 ms)

WFS的使用场景

海量非结构化数据存储：适用于存储大量的非结构化数据，如图片、视频、日志文件、备份数据、静态资源文件等。
高效文件数据读取：wfs存储引擎可以达到100万/每秒以上的数据读取效率，特别适合文件读取密集型的业务。
多种图片处理需求：wfs内置图片基础处理，适合对图片处理多种要求的业务，如图片适应多个尺寸，自定义裁剪等。

在大量小文件应用场景下，wfs实现的关键技术包括以下几个方面

高效存储布局与合并技术： WFS将多个小文件聚合成大文件存储，以减少元数据开销和提高存储利用率。同时，通过灵活的索引机制，确保每个小文件都能快速定位和提取。
分布式存储架构：wfs1.x版本主要聚焦性能提升来满足特定应用场景的需求，并建议通过第三方负载均衡分发技术如nginx，实现横向扩展节点数量来应对海量小文件的存储需求，确保系统在高并发场景下的稳定性和性能表现。
元数据管理优化：针对大量小文件元数据管理难题，wfs采用高效元数据索引和缓存策略，减少元数据查询时间，并采用层级目录结构或哈希索引等方法，降低元数据存储的复杂度。
缓存与预读策略：引入lru缓存机制，对访问频繁的数据进行缓存，降低I/O操作次数，提高读取速度。
数据去重与压缩技术：实现数据去重和数据压缩，去除重复内容，减小存储空间占用，并通过多级压缩算法优化存储效率。
高可用与容错设计：支持元数据导出与数据导入，确保在发生故障时，可以快速恢复数据，保证系统服务的持续性和数据完整性。

WFS的图片处理功能：参见WFS文档

以下为部分图片处理示例