运维123 - 存储技术
type: channel
link: https://www.sddts.cn/index.php/category/Storage/
items: 存储技术书——在不可靠的硬件上构建可靠的数据家园
items: S3 Files 发布：AWS S3 迎来 20 年来最大架构变革
items: 延迟线存储器早期计算机内存技术解析
items: 数据存储底层原理详解
items: xfs_undelete 发布 XFS 文件系统恢复工具
items: 长江存储武汉新厂提前投产技术分析
items: 互联网档案馆技术架构与运营深度分析
items: WSIStreamer 云原生 WSI 流媒体服务器技术分析
items: Fluid 与 S3FS 对接 S3 存储及性能测试
items: AHCI 技术深度解析：从概念到应用

存储技术书——在不可靠的硬件上构建可靠的数据家园
type: item
date: 2026-07-21T00:33:37+00:00
description: 存储技术书——在不可靠的硬件上构建可靠的数据家园一、概述1. 简介A. 是什么存储技术书是一本从结绳记事到 Flash 物理、从文件系统理论到动手实现的存储技术书，包含 KnotFS——一个教学级日志结构化嵌入式文件系统的完整实现（纯 C，约 840 行代码）。B. 为什么学理解存储的本质：从硬件物理特性到软件抽象层掌握文件系统设计原理：思想实验、FAT、日志结构化学习 Flash 存储特性：磨损均衡、掉电安全动手实现生产级文件系统：从零构建 KnotFSC. 学完能做什么理解 Flash 存储的物理特性和限制设计和实现嵌入式文件系统分析现有文件系统源码（如 LittleFS）在实际项目中集成自定义存储解决方案2. 前置知识A. 必备技能C 语言编程能力基本的计算机组成原理知识Linux 基本操作B. 推荐知识嵌入式系统开发经验操作系统文件系统基础概念二、书籍结构1. 全书概览全书共 39 节，分为五章：2. 章节内容A. 第一章：存储的本质（5 节）从结绳记事到 Flash 存储的历史演进，探讨存储的三大原罪：磨损：存储介质的物理损耗中断：供电中断导致的数据丢失噪音：读写过程中的信号干扰B. 第二章：Flash 物理世界（5 节）深入 Flash 存储的物理层：浮栅晶体管工作原理NOR Flash 与 NAND Flash 区别SLC、MLC、TLC 存储单元特性磨损的物理根源与寿命限制C. 第三章：文件系统理论（8 节）文件系统设计核心思想：思想实验：如何设计可靠存储FAT 文件系统解析日志结构化文件系统原理磨损均衡算法掉电安全机制D. 第四章：LittleFS 源码解析（6 节）深入开源嵌入式文件系统：Metadata Pair 机制CTZ Skip-List 数据结构Block Allocator 策略实际源码走读E. 第五章：从零构建 KnotFS（15 节）完整实现教学级文件系统：系统架构设计核心数据结构读写操作实现磨损均衡实现掉电恢复机制生产集成思考三、KnotFS 文件系统1. 系统架构graph TB subgraph 应用层 APP[应用程序] end subgraph KnotFS层 API[KnotFS API] FS[文件系统核心] LOG[日志管理器] WA[磨损均衡] end subgraph 存储层 DRV[Flash驱动] NOR[NOR Flash] NAND[NAND Flash] end APP --> API API --> FS FS --> LOG FS --> WA LOG --> DRV WA --> DRV DRV --> NOR DRV --> NAND2. 核心特性日志结构化设计磨损均衡算法掉电安全保证异步操作支持纯 C 实现，易于移植3. 技术指标代码量：约 840 行 C 代码适用场景：嵌入式系统存储介质：NOR/NAND Flash接口：标准文件操作 API四、快速开始1. 环境准备需要具备：GCC 或其他 C 编译器Make 工具Linux/Unix 环境2. 编译运行cd knotfs make && make test编译成功后，可以运行测试程序验证功能。3. 测试验证测试程序会验证：文件创建与删除数据读写一致性磨损均衡效果掉电恢复能力五、技术亮点1. 教学级设计代码结构清晰，注释详细从简单到复杂的渐进式实现每个设计决策都有明确理由2. 生产级思考虽然定位为教学项目，但考虑了实际生产环境的需求：内存占用优化错误处理完善性能考虑周全3. 完整的配套资源理论基础扎实源码解析详细实战案例丰富六、姊妹篇系列本书是"汽车电子七部曲"系列中的存储之卷，另外五部已发布：1. 从沙子到车辙——一个工程师的理解从图灵机到 CAN 总线，从半导体物理到 AUTOSAR，一部为汽车电子工程师写的全景入门。2. PTP 技术书——从思想实验到协议实现从时间同步的思想实验开始，到 PTP 协议实现，逐机制拆解 + 动手实践。3. HSM 技术书——从思想实验到安全基石从岩画密码学到硬件安全模块，完整覆盖车载 HSM 的技术链路。4. UDS 技术书——从望闻问切到 UDS 协议实现一本从诊断元问题出发，直通 ISO 14229 协议规范与 AUTOSAR DCM 源码、再到亲手实现 UDS 栈的技术书。5. 功能安全——ISO 26262 分析与代码实现以免疫系统为叙事线索的功能安全技术书。兼顾 ISO 26262 标准分析、源码拆解与动手实现。七、适用人群1. 嵌入式工程师需要理解存储底层，优化系统性能2. 文件系统开发者学习现有设计思路，提升设计能力3. 存储技术爱好者深入了解 Flash 物理特性和文件系统原理4. 汽车电子工程师作为"汽车电子七部曲"的一部分，构建完整知识体系八…

S3 Files 发布：AWS S3 迎来 20 年来最大架构变革
type: item
date: 2026-04-17T03:00:45+00:00
description: S3 Files 发布：AWS S3 迎来 20 年来最大架构变革一、新闻概述1. 标题S3 Files 发布：AWS S3 迎来 20 年来最大架构变革2. 发布时间2026 年 4 月 7 日3. 来源AWS 官方博客 / All Things Distributed二、核心内容1. 事件摘要A. 主要内容AWS 正式发布 S3 Files 新功能，这是 S3 服务自 2006 年推出以来最重要的架构演进之一。S3 Files 将 Amazon Elastic File System（EFS）集成到 S3 中，允许任何现有的 S3 数据直接作为网络附加文件系统访问。B. 核心亮点S3 成为首个提供完整文件系统访问功能的云对象存储服务支持 NFS v4.2 协议，可将 S3 bucket 挂载为本地文件系统保持 S3 对象存储的所有优势：持久性、可扩展性、成本效益解决了数据在文件系统和对象存储之间的移动摩擦问题2. 关键信息A. 版本号S3 Files（S3 新功能模块）B. 重要数据S3 每日处理超过 2500 万次 Parquet 格式请求S3 Tables 已存储超过 200 万张表S3 每日发送超过 3000 亿个事件通知S3 Files 单客户端读取性能可达 3 GB/sC. 涉及产品Amazon S3Amazon EFSAmazon EC2AWS LambdaAmazon EKS/ECS3. 背景介绍A. 前置版本S3 起源于 2006 年，最初是纯粹的对象存储服务。近年来，AWS 逐步扩展 S3 的数据类型支持：2024 年 re:Invent：发布 S3 Tables（结构化数据）2024 年 re:Invent：发布 S3 Vectors（向量索引）2026 年 4 月：发布 S3 Files（文件系统）B. 相关上下文随着 AI 代理工具的兴起，应用程序开发速度大幅提升。AI 工具倾向于使用丰富的 Unix 工具直接操作本地文件系统数据，而 S3 对象 API 需要额外的推理步骤来列出、传输和操作数据。S3 Files 的推出正是为了解决这种数据访问摩擦。三、详细报道1. 主要内容A. 功能更新S3 Files 允许用户将任何 S3 bucket 或前缀挂载到 EC2 实例、容器或 Lambda 函数中，通过标准文件系统 API 访问数据。核心特性：直接挂载 S3 bucket 为文件系统支持 NFS v4.2 协议双向同步：文件系统更改自动同步到 S3保持 S3 强一致性和原子性保证与现有 S3 数据完全兼容，无需迁移B. 技术改进S3 Files 的设计采用了独特的「Stage and Commit」架构，明确区分文件系统和对象存储的边界，而不是试图将两者强行融合。设计原则：文件系统和对象存储保持各自语义完整性通过明确的同步边界连接两个世界数据在 EFS 层暂存，然后批量提交到 S3C. 兼容性说明与现有 S3 bucket 完全兼容不影响依赖 S3 对象语义的现有应用支持增量采用，无需大规模迁移2. 技术细节A. 架构变化graph TB subgraph 计算资源 A[EC2 实例] B[Lambda 函数] C[EKS/ECS 容器] end subgraph S3 Files 挂载层 D[NFS v4.2 接口] E[EFS 命名空间] end subgraph S3 存储层 F[S3 Objects] G[S3 Tables] H[S3 Vectors] end A -->|NFS 挂载| D B -->|NFS 挂载| D C -->|NFS 挂载| D D --> E E -->|Stage and Commit| F E -->|双向同步| F F --> G F --> HB. 性能指标单客户端读取吞吐量：3 GB/s多客户端可扩展至 Tbps 级别数据同步周期：约 60 秒小文件（< 128 KB）立即加载大文件采用延迟水合策略30 天未访问文件自动从文件系统视图驱逐（S3 中保留）C. 工作机制挂载过程：首次访问目录时，S3 Files 从 S3 导入元数据小于 128 KB 的文件同步拉取数据大文件仅拉取元数据，实际读取时按需获取元数据扫描在后台进行，用户可立即开始工作数据同步：文件系统更改每 60 秒左右批量提交到 S3其他应用对 S3 对象的修改会自动反映到文件系统视图冲突解决：S3 作为真实来源，冲突文件移至 lost+found 目录Read Bypass 优化：高吞吐量顺序读取自动绕过 NFS使用并行 GET 请求直接访问 S3显著提升大文件读取性能D. 数据与事实S3 生态规模：存储数 EB 级 Parquet 数据每日处理超过 2500 万次 Parquet 请求…

延迟线存储器早期计算机内存技术解析
type: item
date: 2026-02-11T04:47:41+00:00
description: 延迟线存储器早期计算机内存技术解析一、概述1. 简介A. 是什么延迟线存储器是一种早期计算机内存技术，现已基本淘汰。它利用信号在介质中传播需要时间的特性来存储数据，是首批实用的数字计算机存储方案之一。B. 为什么重要比真空管存储器成本低 100 倍，但速度相当为早期计算机（如 EDVAC、UNIVAC I）提供了可行的内存解决方案从二战雷达技术演变而来，是军民技术融合的典型案例C. 现代应用延迟线存储器正以光学延迟线的形式重新出现，应用于光计算领域。2. 核心特性刷新式内存：需要持续循环以保持数据顺序存取：与现代随机存取内存（RAM）不同，必须等待数据循环到访问点存取延迟：取决于数据在延迟线中的位置二、工作原理1. 基本概念延迟线存储器利用信号在介质中传播的延迟时间来存储信息。当延迟线用作存储设备时，放大器和脉冲整形器连接在输出和输入之间，形成信号循环回路。graph LR A[输入数据] --> B[写入换能器] B --> C[延迟介质] C --> D[读取换能器] D --> E[放大与整形] E -->|循环| C E --> F[输出数据]2. 存储容量计算存储容量由循环时间除以传输一位所需时间决定：容量（位） = 循环时间 / 单位传输时间早期系统的容量通常为数千位，循环时间以微秒计量。3. 访问机制要读取或写入特定地址，必须等待代表该地址值的信号通过延迟线传输到电子设备。因此，任何特定地址的存取延迟取决于时间和地址，但不会超过循环时间。三、技术发展史1. 起源：雷达技术延迟线的基本概念源于二战雷达研究，用于减少地面和其他静止物体的杂波干扰。A. 雷达系统构成雷达系统主要由天线、发射机、接收机和显示器组成。天线发射短暂的无线电脉冲，然后接收反射信号。距离较远的物体回声延迟更长。B. 静止物体滤波为了过滤静止物体，系统会比较两个脉冲：将接收到的显示信号分为两路一路直接送至显示器另一路经过延迟单元，延迟时间为脉冲重复频率的整数倍对其中一个信号进行反相将两路信号合并，静止位置的信号被抵消，只显示移动目标2. 转化为计算机存储A. 关键突破1942 年，威廉·肖克利在贝尔实验室将延迟线概念用于计算机内存。1944 年，J. 普雷斯珀·埃克特在麻省理工学院进一步发展了这一技术。B. 专利申请1947 年 10 月 31 日，埃克特和约翰·莫奇利申请了延迟线存储系统专利，并于 1953 年获得批准。该专利主要关注水银延迟线，也讨论了电感电容网络、磁致伸缩延迟线和旋转磁盘等形式。四、技术类型1. 声学延迟线A. 水银延迟线工作原理水银柱两端放置压电晶体换能器（结合扬声器和麦克风功能）。信号从雷达放大器发送到一端的换能器，在水银中产生小波。波传播到另一端被读取、反相后发送到显示器。选用水银的原因声阻抗与压电石英晶体接近，最大限度减少能量损失水银中声速较高（1450 m/s），缩短等待时间但也存在缺点：重量大、成本高、有毒温度控制为匹配声阻抗，水银需保持恒温（40°C），这使得维护工作变得炎热不适。实际应用EDSAC：第二个完整的存储程序数字计算机，使用 16 条延迟线存储 256 个 35 位字UNIVAC I：每列存储 120 位，需要 7 个大型存储单元（每个 18 列）组成 1000 字存储器平均访问时间约 222 微秒B. 磁致伸缩延迟线工作原理使用钢丝作为存储介质，利用磁致伸缩效应：镍等磁致伸缩材料附着在钢丝两端数据进入磁场时，镍根据极性收缩或膨胀扭转钢丝一端产生扭转波波沿钢丝传播，类似水银中的声波优势扭转波对机械缺陷不敏感，钢丝可盘绕成线圈单位面积存储容量更大：1 千位单元仅需约 30 厘米见方的板访问时间约 500 微秒应用LEO I、Ferranti 机器IBM 2848 显示控制器早期终端的视频内存Friden EC-130、Olivetti Programma 101 等台式电子计算器C. 压电延迟线工作原理完全使用压电材料（通常是石英）制成延迟线。电流输入一端产生压缩波传播到另一端读取。这相当于将水银和换能器合并为单一单元。限制大尺寸高质量晶体生长困难，限制了数据存储容量。电视应用压电延迟线在欧洲 PAL 彩色电视机中广泛应用：PAL 标准比较两行信号避免色彩偏移需要 64 微秒延迟单元通过在晶体内部多次反射实现小尺寸设备2. 电延迟线电延迟线用于更短的延迟时间（纳秒到几微秒）：A. 构成方式长电传输线电感和电容链式排列漆包铜线绕金属管缠绕B. 应用场景高频电路或天线的相位匹配磁控管和速调管中的谐振器行波管中的螺旋结构C. 集成电路实现在集成电路存储设备中实现延迟线：数字方式离散时间模拟方式（使用斗链器件或电荷耦合器件）带宽受限于时钟频率的一半D. 现代应用在千兆赫速度的现代计算机中，并行数据总线中导线的毫…

数据存储底层原理详解
type: item
date: 2026-02-10T21:56:03+00:00
description: 数据存储底层原理详解一、概述1. 引言数据存储本质上是试图以日益复杂的方式捕获电子。计算机依赖内存，CPU 和 GPU 只是数据处理机器，最糟糕的情况就是浪费一个时钟周期等待数据。2. 存储层次结构由于快速存储既昂贵又耗电，我们将存储组织成层次结构：距离处理单元越近，存储速度越快，但容量越小距离处理单元越远，存储容量越大，但速度越慢graph LR CPU[CPU] -->|1ns| L1[L1 缓存 64KB] L1 -->|3ns| L2[L2 缓存] L2 -->|10ns| L3[L3 缓存] L3 -->|100ns| RAM[DRAM 内存] RAM -->|100us| SSD[固态硬盘] SSD -->|10ms| HDD[机械硬盘]二、静态随机存取存储器1. 基本原理SRAM 是最快的内存，因为它最简单。它使用晶体管构建逻辑门来存储单个比特。A. 晶体管晶体管本质上是一个开关，有三个端子：源极漏极栅极当在栅极和源极之间施加小电压时，会在源极和漏极之间诱导大电流流动。B. 反相器从晶体管可以构建逻辑门，存储器需要的是反相器或非门，它反转施加到其上的信号：有电压输入时返回 0V无电压输入时返回电压2. 存储单元A. 交叉耦合反相器存储单元需要两个反相器 A 和 B：将反相器 A 的输出连接到反相器 B 的输入将反相器 B 的输出连接到反相器 A 的输入这称为交叉耦合，创建了一个稳定的反馈回路。只要施加电源，反相器 A 就会持续输出 1。graph LR INV1[反相器 A] -->|1| INV2[反相器 B] INV2 -->|0| INV1 style INV1 fill:#e1f5fe style INV2 fill:#e1f5feB. 6T 单元结构SRAM 存储单元通过两个连接到字线的晶体管与内存其余部分隔离：字线晶体管控制对位线的访问位线在单元两侧各有一条读取时：打开访问晶体管电流沿位线向下流动供 CPU 读取写入时：打开访问晶体管驱动两条位线的电压（一侧高压，一侧低压）覆盖反馈回路中的信号并翻转反相器3. SRAM 阵列A. 网格排列这些单元排列成阵列：列通过垂直位线连接行通过水平字线连接B. 读取过程根据地址计算字线位置升高该字线的电压降低其他字线的电压连接到该字线的每个单元将信号发送到位线列多路复用器过滤出 CPU 查找的列graph TB WL[字线] --> Cell1[单元 1] WL --> Cell2[单元 2] WL --> Cell3[单元 3] Cell1 --> BL1[位线 1] Cell2 --> BL2[位线 2] Cell3 --> BL3[位线 3] BL1 --> MUX[列多路复用器] BL2 --> MUX BL3 --> MUX MUX --> CPU[CPU]C. 性能特点SRAM 非常快，最大的速度瓶颈来自位线和字线的长度这就是 L1 缓存必须保持很小的原因更高级别的缓存可以增加容量三、动态随机存取存储器1. 为什么需要 DRAM如果基于晶体管的内存如 SRAM 这么好，为什么不把它用于所有内存？如果这样做：计算机成本会高出十倍体积会大一倍功耗相当于商用烤箱基于晶体管的内存速度很快，但空间效率非常低且制造成本高昂。2. 基本原理DRAM 需要一种在 SRAM 速度和长期存储容量之间折衷的存储方案。A. 1T1C 单元每个 DRAM 内存单元由一个连接到晶体管的单个电容器组成：电容器存储静电荷晶体管充当开关，允许充电和放电电容器graph LR WL[字线] --> Transistor[晶体管] Transistor --> Capacitor[电容器] BL[位线] --> TransistorB. 动态刷新由于尺度极小，即使晶体管关闭，电荷也会缓慢从电容器泄漏。因此需要不断补充电容器中的电荷，称为动态 RAM。刷新频率：约每 64 毫秒一次3. DRAM 阵列结构A. 网格排列单个 1T1C 单元排列成行字线跨越整行连接所有单元位线沿每列向下连接每个单元B. 地址映射32 位地址包含三个部分：前 5 位：指定内存所在的存储体中间 16 位：指示要激活的行后 10 位：指定感兴趣的列graph TB Address[32 位地址] --> Bank[5 位存储体] Address --> Row[16 位行] Address --> Column[10 位列] Bank --> BankSelect[选择存储体] Row --> WordLine[激活字线] Column --> ColMux[列多路复用器] BankSelect --> Output[输出数据] WordLine --> Output ColMux --> Output4. DRAM…

xfs_undelete 发布 XFS 文件系统恢复工具
type: item
date: 2026-02-06T01:17:15+00:00
description: xfs_undelete 发布 XFS 文件系统恢复工具一、概述1. 工具简介xfs_undelete 是一款专门用于 XFS 文件系统的文件恢复工具。该工具由 Jan Kandziora 开发，采用 Tcl 脚本编写，可以帮助用户从 XFS 文件系统中恢复已删除的文件。当前最新版本为 v15.0，发布于 2024 年 7 月 21 日。XFS 是一种高性能的日志文件系统，广泛应用于 Linux 服务器和企业级存储系统。然而，XFS 文件系统的删除机制使得文件恢复变得相当困难。xfs_undelete 工具的出现填补了这一空白，为系统管理员和数据恢复专业人员提供了一种有效的恢复方案。2. 核心功能xfs_undelete 的主要功能包括：扫描 XFS 文件系统中所有标记为已删除的文件根据删除时间范围筛选恢复文件根据文件类型进行选择性恢复自动识别文件类型并分配扩展名对恢复的文件进行完整性检查支持中断后继续恢复3. 项目信息仓库地址：https://github.com/ianka/xfs_undelete开发语言：Tcl（69.6%）、Roff（29.9%）、Nix（0.5%）许可证：GPL-3.0GitHub 星标：297Fork 数量：51贡献者：5 人二、工作原理1. 技术架构XFS 文件系统采用 B+ 树结构来管理 inode。当文件被删除时，XFS 会将 inode 标记为删除状态，但并不会立即清除 extent（数据块映射）信息。xfs_undelete 正是利用这一特性来实现文件恢复。graph TB A[XFS 文件系统] --> B[分配组 AG] B --> C[Inode B+树] C --> D[扫描 Inode] D --> E{检查魔术字符串} E -->|IN\\0\\0| F[已删除 Inode] E -->|其他| G[跳过] F --> H[解析 Extent 信息] H --> I[收集数据块] I --> J[重组文件数据] J --> K[保存到目标位置]2. 恢复机制xfs_undelete 的工作流程包括以下步骤：遍历每个分配组的 inode B+ 树检查文件系统中存储 inode 的块，查找魔术字符串 IN\0\0（表示已删除的 inode）尝试解析 inode 中存储的 extent 信息（XFS 不会删除这些信息）收集文件的数据块将数据块重组并保存到指定的恢复目录3. 文件识别工具使用 file 命令和 magic number 数据库来识别文件类型。如果安装了支持 MIME 类型的 file 工具，xfs_undelete 可以根据文件内容猜测文件扩展名。三、系统要求1. 运行环境A. 必需组件Tcl >= 8.5tcllib 包（用于解析命令行参数）GNU coreutils（包含 dd、readlink、stat 等工具）B. 推荐组件file 工具（具有 magic number 文件和 MIME 类型支持）C. 存储要求需要在另一个文件系统上有足够的存储空间来保存恢复的文件。恢复的文件无法在原位恢复。2. 支持的发行版xfs_undelete 已经被以下 Linux 发行版收录：OpenSUSE Linux：https://software.opensuse.org/package/xfs_undeleteArch Linux（AUR）：https://aur.archlinux.org/packages/xfs_undelete/四、功能详解1. 时间范围过滤工具提供了灵活的时间过滤选项，可以精确控制需要恢复的文件范围。A. 删除时间范围（-t 选项）只恢复在指定时间范围内删除的文件。时间范围可以指定为：两个时间点，用双点分隔：2020-03-19..-2hours从纪元开始的范围：..-2hours到当前时间的范围：-2hours..单个时间点：-2hours时间规范支持 Tcl 的 clock scan 函数接受的所有值。B. 修改时间范围（-T 选项）只恢复在删除前指定时间范围内修改过的文件。这个选项对于知道最新备份日期的情况非常有用。时间范围格式与 -t 选项相同。2. 文件类型过滤A. 包含过滤（-r 选项）只恢复与指定模式匹配的文件类型。模式列表用逗号分隔。默认情况下，此模式为 *，即恢复所有文件。B. 排除过滤（-i 选项）忽略与指定模式匹配的文件类型。默认设置为 bin，即忽略所有未知类型的文件。C. 文件类型模式文件类型模式可以是 / 形式（匹配 MIME 类型）或其他形式（匹配文件扩展名）。文件扩展名是根据 file 工具从文件内容猜测的，因此可能与删除前的扩展名不同。使用 -l 选项可以查看所有有效的文件类型。3. 其他过滤选项A. inode…

长江存储武汉新厂提前投产技术分析
type: item
date: 2026-01-30T22:23:09+00:00
description: 长江存储武汉新厂提前投产技术分析一、新闻概述1. 标题长江存储发动 NAND 产量扩大攻势：武汉新厂提前投产2. 发布时间2026 年 1 月 30 日3. 来源X 平台 @QQ_Timmy二、核心内容1. 事件摘要A. 主要内容中国最大 NAND 快闪记忆体企业长江存储科技（YMTC）正在以空前速度推进位于中国武汉的第三期投资计划。B. 核心亮点第三工厂投产时程从 2027 年提前至 2026 年内AI 服务器需求爆炸性增长带动高效能 NAND 产品需求市场占有率从约 5% 提升至接近 10%2. 关键信息A. 投产计划原计划 2027 年投产的武汉新厂（第三工厂），建设进度大幅超前，已提前至 2026 年内。B. 重要数据提前时间：至少半年以上市场占有率：接近 10%（原约 5%）技术水平：已量产超过 200 层以上产品预测排名：2026-2027 年可能进入全球前四强C. 涉及产品高效能 NAND、QLC（四位元储存单元）产品、3D NAND3. 背景介绍A. 企业历史长江存储（YMTC）是中国最大的 NAND 快闪记忆体企业，近年来在 3D NAND 技术上取得重大突破。B. 相关上下文尽管被美国列入实体清单（Entity List），YMTC 仍通过国内设备厂商与自主技术突破，持续提升技术能力。三、详细报道1. 主要内容A. 产能扩张第三工厂设备导入与洁净室建设速度非常快，预计比原计划提前至少半年以上投产。这是为应对 AI 时代记忆体需求暴增，展现极强势的扩产意志。B. 技术突破目前已量产超过 200 层以上的产品，并积极开发 300 层级以上的下一代技术。通过中国国内设备厂商（如北方华创 NAURA、盛美上海 ACM Research 等）实现设备自主化。C. 市场策略以极具攻击性的价格策略与快速扩产，正在改变 NAND 市场竞争格局。目标超越竞争对手三星电子、SK 海力士与铠侠（Kioxia）等韩日厂商。2. 技术细节A. 产品架构graph TB A[AI 服务器需求] --> B[高效能 NAND] A --> C[QLC 产品] D[3D NAND 技术] --> E[200+ 层产品] D --> F[300+ 层研发] B --> G[第三工厂生产] C --> G E --> G F --> H[下一代产能] G --> I[全球市场份额提升]B. 供应链布局国内设备厂商：北方华创 NAURA、盛美上海 ACM Research自主技术突破：持续提升 3D NAND 层数数与良率制裁应对：实体清单限制下仍实现技术进步C. 技术路线图timeline title YMTC 技术发展路线 section 当前状态 200+ 层 3D NAND : 已量产 市场占有率 : 接近 10% section 2026 年 第三工厂投产 : 提前至 2026 年内 全球前四强 : 目标达成 section 未来规划 300+ 层技术 : 积极开发中 产能持续扩张 : 应对 AI 需求3. 数据与事实A. 市场数据原市场占有率：约 5%当前市场占有率：接近 10%预期排名：2026-2027 年进入全球前四强B. 建设进度原计划投产时间：2027 年新计划投产时间：2026 年内提前时长：至少半年以上C. 技术指标当前量产层数：200 层以上研发层数：300 层级以上产品类型：高效能 NAND、QLC 产品四、影响分析1. 行业影响A. 竞争格局YMTC 以攻击性价格策略与快速扩产，正在改变 NAND 市场竞争格局。韩国与日本企业若无法加速技术迭代与产能投资，可能会失去更多市占。B. 技术趋势3D NAND 层数持续增加（200 层向 300 层演进）AI 服务器驱动高效能 NAND 需求QLC 产品需求快速增长2. 用户影响A. 现有用户AI 服务器厂商获得更多 NAND 供应选择，价格可能更具竞争力。B. 潜在用户数据中心、云计算服务商受益于产能扩张和价格竞争。C. 市场供应全球 NAND 供应量增加，有助于缓解 AI 时代存储需求紧张。3. 技术趋势A. 技术方向3D NAND 层数持续向上突破国产设备替代加速自主研发能力增强B. 生态影响国内半导体设备厂商获得成长机会全球 NAND 市场竞争格局重塑中国半导体自给率提升五、各方反应1. 业内观点熟悉内情人士表示：YMTC 第三工厂的设备导入与洁净室建设速度非常快，预计将比原计划提前至少半年以上投产。这是为因应 AI 时代记忆体需求暴增，展现极强势的扩产意志。2. 业界分析业界分析指出：YMTC 以极具攻击性的价格策略与快速扩产，正在改变 NAND 市场竞争格局。韩国与日本企业若无法加速技术迭代与产能投资，可能会失去更多市占。3. 战略意义此次提前投产计划，被视…

互联网档案馆技术架构与运营深度分析
type: item
date: 2026-01-23T22:11:11+00:00
description: 互联网档案馆技术架构与运营深度分析一、新闻概述1. 标题互联网档案馆技术架构与运营深度分析2. 发布时间2026 年 1 月 13 日3. 来源HackerNoon二、核心内容1. 事件摘要A. 主要内容本文深入分析了互联网档案馆的工程架构和运营模式，揭示了这个非营利组织如何用有限的预算管理超过 1 万亿个网页的存储。B. 核心亮点存储 99 PB 独特数据，含备份超过 212 PB自研 PetaBox 服务器架构，无需空调冷却年度预算仅 2500 万至 3000 万美元面临重大版权诉讼后转向去中心化存储2. 关键信息A. 数据规模归档网页超过 1 万亿个硬盘数量超过 20000 块线缆长度 45 英里B. 涉及技术PetaBox 存储架构Heritrix、Brozzler 爬虫系统WARC 文件格式IPFS、Filecoin 去中心化存储3. 背景介绍A. 前置历史互联网档案馆成立于 1996 年，由布鲁斯特卡莱创立，最初目标是实现"普遍获取所有知识"。B. 相关上下文随着 Alexa Internet 于 2022 年关闭，档案馆不得不完全依赖自己的爬虫基础设施。三、详细报道1. 存储架构A. PetaBox 设计理念互联网档案馆的核心是 PetaBox，这是一个专为高密度、低功耗存储设计的定制服务器。与传统的企业级存储解决方案（如 EMC 或 NetApp）不同，PetaBox 采用消费级硬盘和开源软件，大幅降低了成本。B. 架构演进graph LR A[2004: 第一代] -->|100 TB| B[2010: 第四代] B -->|480 TB| C[2025: 现代版本] C -->|1.4 PB| D[存储容量]C. 技术规格对比规格第一代（2004）第四代（2010）现代版本（2025）单机架容量100 TB480 TB1.4 PB硬盘数量40-80240 块 2TB360+ 块 8TB+功耗6 kW6-8 kW6-8 kW散热建筑供暖建筑供暖建筑供暖处理器VIA C3Xeon E7-8870高效 x86D. 热管理创新档案馆位于旧金山里士满区，利用该地区常年多雾和凉爽的海洋性气候进行自然冷却。PetaBox 机房没有传统空调系统，服务器被设计为在稍高的运行温度下工作，旋转硬盘产生的多余热量被捕获并重新循环，用于在寒冷的旧金山冬季为建筑供暖。这种废热系统是一个效率的闭环。存储集群产生的 60 多千瓦热能不是需要消除的副产品，而是被收获的资源。这种设计选择显著降低了设施的电源使用效率比率，使档案馆能够将有限的资金花在硬盘上而不是电费上。2. 网络爬虫系统A. Heritrix 架构Heritrix 是档案馆长期使用的网络爬虫，由互联网档案馆与北欧国家图书馆（挪威和冰岛）于 2003 年联合开发。与主要关心提取文本以进行搜索相关性的搜索引擎爬虫不同，Heritrix 关心的是文物本身。B. WARC 文件格式WARC 文件是互联网档案馆的原子单位。它不仅保存页面的内容，还保存 HTTP 头——服务器和浏览器在捕获时刻发生的数字握手。这些元数据对历史学家至关重要，因为它证明了页面是何时被捕获的，由什么服务器交付的，以及连接是如何协商的。C. 动态网页挑战Heritrix 是为更简单的 web 构建的——由静态 HTML 文件和超链接组成的 web。随着 web 演变为动态应用程序平台，Heritrix 开始出现问题。Heritrix 捕获服务器传递的初始 HTML。但在 Twitter 或 Facebook 这样的现代网站上，初始 HTML 通常只是一个空白框架。实际内容由用户浏览器中运行的 JavaScript 代码在页面加载后动态加载。D. Brozzler 和 Umbra为了对抗动态 web，档案馆不得不改进其工具。现代归档堆栈包括 Brozzler 和 Umbra，这些工具模糊了爬虫和网络浏览器之间的界限。Brozzler 使用 Google Chrome 的无头版本来渲染页面，完全按照用户看到的样子来渲染。它执行 JavaScript，展开菜单，播放动画，然后在捕获内容之前渲染页面。这使档案馆能够保存 Instagram 和交互式新闻文章等复杂网站。3. 经济运营模式A. 收入结构根据财务备案和年度报告，互联网档案馆的年收入在 2500 万至 3000 万美元之间徘徊。2024 年，该组织报告约 2680 万美元的收入，支出为 2350 万美元。主要收入驱动因素是捐款和赠款，通常占总收入的 60-70%。这包括小额捐款（维基模式，向用户请求 5 或 10 美元）和主要赠款（来自梅隆基金会、卡莱/奥斯汀基金会和 Filecoin 基金会等慈善组织）。B. 服务收入第二个主要收入来源是计划服务，特别是数字化和…

WSIStreamer 云原生 WSI 流媒体服务器技术分析
type: item
date: 2026-01-18T13:20:12+00:00
description: WSIStreamer 云原生 WSI 流媒体服务器技术分析一、项目概述1. 项目背景WSIStreamer 是一个现代化的云原生全切片图像瓦片服务器。全切片图像通常体积巨大（1-3GB+），传统查看器需要下载整个文件才能显示单个瓦片，这在云存储场景下效率极低。2. 核心创新WSIStreamer 采用完全不同的方法：原生理解切片格式，通过 HTTP Range 请求仅获取所需的字节，立即返回 JPEG 瓦片。这实现了真正的按需流式传输，无需本地文件存储。3. 项目亮点一行命令启动服务：无需配置文件、无本地存储、无复杂设置云原生设计：直接从 S3 兼容对象存储服务生产级就绪：支持 HMAC-SHA256 签名 URL 认证多级缓存：切片、块、编码瓦片三级缓存机制二、技术架构1. 系统架构WSIStreamer 采用分层架构设计，核心是理解 WSI 格式并按需提取数据。graph TB Client[客户端浏览器] -->|HTTP 请求| Server[WSIStreamer 服务器] Server -->|Range 请求| S3[S3 兼容存储] Server -->|格式解析| Parser[Rust 解析器] Parser -->|Aperio SVS| SVS[SVS 格式] Parser -->|Pyramidal TIFF| TIFF[TIFF 格式] Server -->|JPEG 瓦片| Client Server -->|多级缓存| Cache[缓存系统] Cache --> L1[切片缓存] Cache --> L2[块缓存] Cache --> L3[瓦片缓存]2. 核心组件A. 格式解析器Aperio SVS 解析器：处理 SVS 格式医学图像Pyramidal TIFF 解析器：支持金字塔 TIFF 格式压缩支持：JPEG、JPEG 2000B. 存储适配器AWS S3 原生支持S3 兼容存储（MinIO、Ceph 等）HTTP Range 请求优化C. 缓存系统切片级缓存：默认最多 100 个切片块级缓存：减少重复的 Range 请求瓦片缓存：编码后的 JPEG 瓦片，默认 100MBD. Web 查看器基于 OpenSeadragon支持平移、缩放深色主题3. 工作流程sequenceDiagram participant U as 用户浏览器 participant W as WSIStreamer participant S as S3 存储 U->>W: 请求瓦片 /tiles/slide.svs/0/0/0.jpg W->>W: 检查缓存 alt 缓存命中 W-->>U: 返回 JPEG 瓦片 else 缓存未命中 W->>W: 解析切片文件结构 W->>S: Range 请求（仅所需字节） S-->>W: 返回图像块数据 W->>W: 解码并裁剪瓦片 W->>W: JPEG 编码 W->>W: 存入缓存 W-->>U: 返回 JPEG 瓦片 end三、技术实现1. 开发语言与框架语言：Rust 97.1%（Shell 2.3%、Dockerfile 0.6%）Web 框架：基于 Rust 异步运行时图像处理：原生 Rust 实现2. 核心功能A. Range 请求优化// 伪代码示例 async fn fetch_tile_range(s3_client: &S3Client, slide_id: &str, offset: u64, length: u64) -> Vec<u8> { s3_client.get_object() .bucket(slide_id) .range(format!("bytes={}-{}", offset, offset + length - 1)) .send() .await .body() .collect() }B. 多级缓存实现L1：切片元数据缓存（避免重复解析文件头）L2：块数据缓存（减少 Range 请求）L3：编码瓦片缓存（直接返回 JPEG）C. 认证机制支持 HMAC-SHA256 签名 URL 认证：graph LR A[客户端] -->|1. 请求签名| B[签名服务] B -->|2. 生成签名URL| A A -->|3. 带签名请求| C[WSIStreamer] C -->|4. 验证签名| C C -->|5. 返回瓦片| A3. API 设计A. RESTful 端点端点方法描述/healthGET健康检查/view/{slide_id}GETWeb 查看器/tiles/{slide_id}/{level}/{x}/{y}.jpgGET获取瓦片/slidesGET列出所有切片/slides/{slide_id}GET…

Fluid 与 S3FS 对接 S3 存储及性能测试
type: item
date: 2026-01-17T23:29:25+00:00
description: Fluid 与 S3FS 对接 S3 存储及性能测试一、概述1. 简介A. 是什么Fluid 是一个 Kubernetes 原生的数据集编排和加速工具，通过 S3FS 将 S3 兼容存储挂载为 Pod 可用的 PVC，实现云存储的透明访问。B. 为什么学解决 Kubernetes Pod 访问 S3 存储的复杂性问题实现存储资源的统一管理和调度支持多种 S3 兼容存储（华为云 OBS、阿里云 OSS、AWS S3 等）C. 学完能做什么自定义 Fluid 镜像以支持 S3FS 挂载配置 Dataset 和 ThinRuntime 实现 S3 存储挂载使用 JuiceFS Bench 进行性能测试2. 前置知识A. 必备技能Kubernetes 基础操作（kubectl 命令）Docker 镜像构建基础S3 存储概念（Bucket、Access Key、Secret Key）B. 推荐知识Fluid 架构和基本概念FUSE 文件系统原理二、制作镜像1. 系统架构Fluid 通过 ThinRuntime 机制支持自定义文件系统。S3FS 是一个基于 FUSE 的 S3 文件系统客户端，可以将 S3 存储挂载到本地文件系统。graph TB subgraph Kubernetes Pod[Pod 应用容器] PVC[PersistentVolumeClaim] Runtime[ThinRuntime Fuse 容器] end Pod --> PVC PVC --> Runtime Runtime --> S3FS[S3FS FUSE 挂载] S3FS --> S3[(S3 兼容存储)]2. 组件说明A. fluid_config_init.pyFluid 配置初始化脚本，负责：从 Fluid 配置文件读取挂载参数生成 S3FS 认证文件生成挂载脚本B. entrypoint.sh容器入口脚本，执行初始化并启动 S3FS 挂载。C. Dockerfile构建自定义 Fuse 镜像的模板。3. 配置文件详解A. fluid_config_init.py#!/usr/bin/env python import json import os rawStr = "" with open("/etc/fluid/config.json", "r") as f: rawStr = f.readlines() rawStr = rawStr[0] script = """ #!/bin/sh set -ex MNT_TO=$targetPath trap "umount ${MNT_TO}" SIGTERM mkdir -p ${MNT_TO} || true s3fs $bucket:$bucketPath $MNT_TO -o url=$url -o allow_other -f -d -o f2 echo "mounted and exit code: $?" sleep inf """ obj = json.loads(rawStr) with open("/root/.passwd-s3fs", "w") as f: f.write("%s:%s\n" % (obj["mounts"][0]["options"]["s3-access-key"], obj["mounts"][0]["options"]["s3-access-secret"])) os.chmod("/root/.passwd-s3fs", 0o600) bucketPath = obj["mounts"][0]["mountPoint"].lstrip("s3://").rstrip("/") bucket = bucketPath.split("/")[0] bucketPath = bucketPath[len(bucket):] with open("/mount-s3.sh", "w") as f: f.write('targetPath="%s"\n' % obj["targetPath"]) f.write('bucket="%s"\n' % bucket) f.write('bucketPath="%s"\n' % bucketPath) f.write('url="%s"\n' % obj["mounts"][0]["options"]["url"]) f.write(script)关键逻辑说明：读取 Fluid 注入的配置文件 /etc/fluid/config.json提取 S3 认证信息并写入 /root/.passwd-s3fs（权限设为 600）解析 S3 路径，分离 bucket 和 bucketPath生成动态挂载脚本，包含 s3fs 挂载…

AHCI 技术深度解析：从概念到应用
type: item
date: 2026-01-17T14:57:00+00:00
description: AHCI 技术深度解析：从概念到应用一、概述1. 技术背景AHCI（Advanced Host Controller Interface，高级主机控制器接口）是由 Intel 制定的串行 ATA 控制器接口技术标准，于 2004 年推出。作为一种 PCI 类设备，AHCI 在系统内存总线和串行 ATA 设备内部逻辑之间扮演通用接口角色，在不同的操作系统和硬件中具有通用性。2. 核心价值AHCI 的出现解决了传统 IDE 模式的性能瓶颈，通过引入 NCQ（Native Command Queuing，原生命令队列）等先进技术，显著提升了存储设备的性能。在机械硬盘时代，AHCI 优化了磁头移动路径；在固态硬盘初期，AHCI 带来了约 30% 的性能提升。二、AHCI 核心属性1. NCQ 原生命令队列NCQ 是 AHCI 的核心技术，允许硬盘优化读写命令的执行顺序。通过智能数据管理重新排序内部队列中的命令，NCQ 可以大幅提升存储性能。AHCI 支持最多 32 个命令的并发处理，这在多任务环境下尤为重要。2. 热插拔支持AHCI 支持 SATA 设备的热插拔功能，无需重启系统即可连接或断开设备，极大提升了系统维护和升级的便利性。3. 端口管理能力根据 AHCI 规范，一个主机总线适配器（HBA）最多可管理 32 个端口，满足大规模存储系统的需求。4. 高效数据传输SATA 以连续串行方式传送数据，一次只传送 1 位数据。仅用四支针脚即可完成数据传输，减少了接口针脚数目，使连接电缆更少，效率更高。三、AHCI 工作原理1. 基本架构graph LR CPU[系统内存/CPU] -->|PCIe总线| AHCI[AHCI控制器] AHCI -->|SATA通道| Port1[端口1] AHCI -->|SATA通道| Port2[端口2] AHCI -->|SATA通道| PortN[端口N] Port1 --> HDD1[存储设备1] Port2 --> HDD2[存储设备2] PortN --> HDDN[存储设备N]2. NCQ 工作流程sequenceDiagram participant Host as 主机 participant AHCI as AHCI控制器 participant Drive as 存储设备 Host->>AHCI: 发送多个I/O请求 AHCI->>Drive: 发送命令队列(最多32个) Note over Drive: 智能重排命令顺序 Drive->>AHCI: 按最优顺序执行 AHCI->>Host: 返回完成结果四、AHCI 在不同存储设备上的应用1. 机械硬盘（HDD）A. 核心价值在机械硬盘上，AHCI 的 NCQ 技术能够优化磁头移动路径，减少不必要的寻道时间。通过智能重排 I/O 请求，提高并发处理效率。当队列深度（QD）增大时，性能优势更加明显。B. 应用场景多任务环境下的数据查找文件服务器和 NAS 存储需要大量随机读写的场景C. 性能表现NCQ 技术在机械硬盘上的性能提升主要体现在随机读写场景，特别是在高队列深度时，可以减少 20%-40% 的寻道时间。2. 固态硬盘（SSD）A. 性能提升开启 AHCI 模式后，SSD 的性能提升显著：理论上可提升约 30% 的硬盘读写速度持续读写速度差距在 10%-40% 之间4K 随机读写性能提升更明显，可达 30%-50%B. 关键技术优势NCQ 优化：大幅缩短 SSD 无用的寻道次数，优化多任务环境TRIM 支持：有助于延长 SSD 的使用寿命多任务处理能力增强C. 实际应用建议在 BIOS 设置中应该开启 AHCI 模式以获得最佳性能。不正当的使用方法（如未开启 AHCI、未 4K 对齐等）会极大地影响 SSD 的真实性能。3. NVMe 固态硬盘NVMe（Non-Volatile Memory Express）是专为闪存存储设计的新一代接口标准，与 AHCI 有本质区别。NVMe 不使用 AHCI 协议，而是通过 PCIe 总线直接与 CPU 通信，性能远超 AHCI。五、AHCI 与 NVMe 深度对比1. 技术规格对比对比项AHCINVMe设计目标为机械硬盘(HDD)设计专门为SSD闪存存储设计队列深度1个队列，32个命令65,535个队列，每队列65,535个命令IOPS性能最高约10万超过100万通信方式通过SATA控制器通信直接与CPU通信延迟较高（需读取寄存器）极低（流线型存储堆栈）接口支持SATA/SASPCIe传输速度SATA限制：最高6Gbps（约600MB/s）PCIe 3.0/4.0：可达3,500-7,000MB/s推出时间2004年2011年2. 协议架构对比graph TB subgraph AHCI…