Loading... # S3 Files 发布：AWS S3 迎来 20 年来最大架构变革 # 一、新闻概述 ## 1. 标题 S3 Files 发布：AWS S3 迎来 20 年来最大架构变革 ## 2. 发布时间 2026 年 4 月 7 日 ## 3. 来源 AWS 官方博客 / All Things Distributed # 二、核心内容 ## 1. 事件摘要 ### A. 主要内容 AWS 正式发布 S3 Files 新功能，这是 S3 服务自 2006 年推出以来最重要的架构演进之一。S3 Files 将 Amazon Elastic File System（EFS）集成到 S3 中，允许任何现有的 S3 数据直接作为网络附加文件系统访问。 ### B. 核心亮点 - S3 成为首个提供完整文件系统访问功能的云对象存储服务 - 支持 NFS v4.2 协议，可将 S3 bucket 挂载为本地文件系统 - 保持 S3 对象存储的所有优势：持久性、可扩展性、成本效益 - 解决了数据在文件系统和对象存储之间的移动摩擦问题 ## 2. 关键信息 ### A. 版本号 S3 Files（S3 新功能模块） ### B. 重要数据 - S3 每日处理超过 2500 万次 Parquet 格式请求 - S3 Tables 已存储超过 200 万张表 - S3 每日发送超过 3000 亿个事件通知 - S3 Files 单客户端读取性能可达 3 GB/s ### C. 涉及产品 - Amazon S3 - Amazon EFS - Amazon EC2 - AWS Lambda - Amazon EKS/ECS ## 3. 背景介绍 ### A. 前置版本 S3 起源于 2006 年，最初是纯粹的对象存储服务。近年来，AWS 逐步扩展 S3 的数据类型支持： - 2024 年 re:Invent：发布 S3 Tables（结构化数据） - 2024 年 re:Invent：发布 S3 Vectors（向量索引） - 2026 年 4 月：发布 S3 Files（文件系统） ### B. 相关上下文 随着 AI 代理工具的兴起，应用程序开发速度大幅提升。AI 工具倾向于使用丰富的 Unix 工具直接操作本地文件系统数据，而 S3 对象 API 需要额外的推理步骤来列出、传输和操作数据。S3 Files 的推出正是为了解决这种数据访问摩擦。 # 三、详细报道 ## 1. 主要内容 ### A. 功能更新 S3 Files 允许用户将任何 S3 bucket 或前缀挂载到 EC2 实例、容器或 Lambda 函数中，通过标准文件系统 API 访问数据。 **核心特性**： - 直接挂载 S3 bucket 为文件系统 - 支持 NFS v4.2 协议 - 双向同步：文件系统更改自动同步到 S3 - 保持 S3 强一致性和原子性保证 - 与现有 S3 数据完全兼容，无需迁移 ### B. 技术改进 S3 Files 的设计采用了独特的「Stage and Commit」架构，明确区分文件系统和对象存储的边界，而不是试图将两者强行融合。 **设计原则**： - 文件系统和对象存储保持各自语义完整性 - 通过明确的同步边界连接两个世界 - 数据在 EFS 层暂存，然后批量提交到 S3 ### C. 兼容性说明 - 与现有 S3 bucket 完全兼容 - 不影响依赖 S3 对象语义的现有应用 - 支持增量采用，无需大规模迁移 ## 2. 技术细节 ### A. 架构变化 ```mermaid graph TB subgraph 计算资源 A[EC2 实例] B[Lambda 函数] C[EKS/ECS 容器] end subgraph S3 Files 挂载层 D[NFS v4.2 接口] E[EFS 命名空间] end subgraph S3 存储层 F[S3 Objects] G[S3 Tables] H[S3 Vectors] end A -->|NFS 挂载| D B -->|NFS 挂载| D C -->|NFS 挂载| D D --> E E -->|Stage and Commit| F E -->|双向同步| F F --> G F --> H ```  ### B. 性能指标 - 单客户端读取吞吐量：3 GB/s - 多客户端可扩展至 Tbps 级别 - 数据同步周期：约 60 秒 - 小文件（< 128 KB）立即加载 - 大文件采用延迟水合策略 - 30 天未访问文件自动从文件系统视图驱逐（S3 中保留） ### C. 工作机制 **挂载过程**： 1. 首次访问目录时，S3 Files 从 S3 导入元数据 2. 小于 128 KB 的文件同步拉取数据 3. 大文件仅拉取元数据，实际读取时按需获取 4. 元数据扫描在后台进行，用户可立即开始工作 **数据同步**： - 文件系统更改每 60 秒左右批量提交到 S3 - 其他应用对 S3 对象的修改会自动反映到文件系统视图 - 冲突解决：S3 作为真实来源，冲突文件移至 lost+found 目录 **Read Bypass 优化**： - 高吞吐量顺序读取自动绕过 NFS - 使用并行 GET 请求直接访问 S3 - 显著提升大文件读取性能 ### D. 数据与事实 **S3 生态规模**： - 存储数 EB 级 Parquet 数据 - 每日处理超过 2500 万次 Parquet 请求 - S3 Tables 已存储超过 200 万张表 - 每日发送 3000 亿个事件通知 **客户痛点**： - 基因组学研究：数据在 NFS 共享存储和云存储之间反复复制 - 机器学习训练：模型训练期望文件系统，数据存储在 S3 - 媒体处理：转码工具使用文件 API，源数据在对象存储 - 科学计算：遗留应用依赖文件系统，现代数据湖使用 S3 # 四、影响分析 ## 1. 行业影响 ### A. 技术趋势 S3 Files 的发布标志着云存储从单一数据模型向多模态存储系统的演进。对象存储、文件存储、表格式、向量索引等不同数据抽象开始在同一存储平台上统一。 ### B. 竞争格局 - AWS S3 成为首个提供原生文件系统访问的对象存储服务 - 与 Azure Files、Google Cloud Filestore 等专用文件存储服务形成差异化竞争 - 可能引发其他云厂商跟进类似功能 ## 2. 用户影响 ### A. 现有用户 - 无需迁移现有 S3 数据 - 可选择性采用，不影响现有工作负载 - 为混合文件/对象工作负载提供统一解决方案 ### B. 潜在用户 - 简化云上文件工作负载的架构 - 降低数据在存储系统间移动的成本 - 加速 AI/ML 工作负载的数据访问 ### C. 迁移成本 - 零迁移成本：现有 S3 数据可直接挂载 - 应用适配成本：需要识别和适配文件系统 API 的应用 ## 3. 技术趋势 ### A. 技术方向 - 存储系统从单一抽象向多模态演进 - 数据访问模式多样化：对象、文件、表、向量 - 边界显式化而非隐藏复杂性 ### B. 生态影响 - 促进 AI 代理工具与云存储的集成 - 加速数据湖与文件工作负载的融合 - 推动存储即服务向更高级抽象发展 # 五、各方反应 ## 1. 官方回应 AWS 首席技术官 Werner Voges 在博客前言中指出：「这是我们应该为客户解决的问题类型——消除数据在不同存储系统间移动的摩擦。」 S3 团队负责人 Andy Warfield 表示：「S3 Files 的设计中最令人意外的是，文件和对象之间的明确边界成为设计中最好的部分。我们花了几个月试图让它消失，当我们最终接受它作为系统的第一类元素时，一切都变得更好了。」 ## 2. 业内评价 ### A. 专家观点 - GeekWire：「这是 AWS 为 AI 时代重塑 S3，消除了应用和代理的一个关键障碍」 - SiliconAngle：「S3 Files 简化了云数据管理，让客户更容易管理存储在 S3 中的数据」 - 开发者社区：「这是 S3 20 年来最大的更新」 ### B. 社区反馈 - Twitter 用户热议：「S3 不再只是对象存储，这是云存储的革命性变化」 - Reddit 讨论：对性能和兼容性表示关注，但普遍认为方向正确 ## 3. 用户反馈 ### A. 正面评价 - 统一数据存储，减少数据复制 - 简化架构，降低运维复杂度 - 对 AI/ML 工作负载友好 ### B. 关注点 - 重命名操作的代价（S3 无原生重命名） - 60 秒同步周期对某些工作负载可能不够 - 部分 S3 对象键无法表示为有效 POSIX 文件名 ### C. 中立观察 - AWS 采用了诚实的设计，明确披露边界和限制 - 客户 Beta 已进行约 9 个月，持续迭代改进 - 这是 S3 演进的重要一步，但并非终点 # 六、相关链接 ## 1. 官方公告 - [AWS What's New: Announcing Amazon S3 Files](https://aws.amazon.com/about-aws/whats-new/2026/04/amazon-s3-files/) - [AWS Blog: Launching S3 Files](https://aws.amazon.com/blogs/aws/launching-s3-files-making-s3-buckets-accessible-as-file-systems/) - [S3 Files 技术文档](https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-files.html) ## 2. 相关报道 - [GeekWire: Amazon revamps S3 for the AI era](https://www.geekwire.com/2026/amazon-revamps-s3-cloud-storage-for-the-ai-era-removing-a-key-barrier-for-apps-and-agents/) - [SiliconAngle: AWS launches Amazon S3 Files](https://siliconangle.com/2026/04/08/aws-launches-amazon-s3-files-simplify-cloud-data-management/) - [HPCwire: AWS Launches Amazon S3 Files](https://www.hpcwire.com/bigdatawire/this-just-in/aws-launches-amazon-s3-files-making-s3-buckets-accessible-as-file-systems/) ## 3. 技术文档 - [Amazon S3 用户指南](https://docs.aws.amazon.com/AmazonS3/latest/userguide/) - [Amazon EFS 文档](https://docs.aws.amazon.com/efs/) *** ## 参考资料 1. [S3 Files and the changing face of S3 | All Things Distributed](https://www.allthingsdistributed.com/2026/04/s3-files-and-the-changing-face-of-s3.html) 2. [AWS What's New: Announcing Amazon S3 Files](https://aws.amazon.com/about-aws/whats-new/2026/04/amazon-s3-files/) 3. [AWS Blog: Launching S3 Files](https://aws.amazon.com/blogs/aws/launching-s3-files-making-s3-buckets-accessible-as-file-systems/) 最后修改：2026 年 04 月 17 日 © 允许规范转载 赞 如果觉得我的文章对你有用，请随意赞赏