项目 11b - 硬件规格 v0.1
年度数据量:110 亿个二维码,每个 50KB - 200KB。
总存储量: 每年 550 TB - 2.2 PB
导入窗口: 年度的 1/20 到 1/10(18-36 天)
写入吞吐量: 持续 3,480 - 6,960 个二维码/秒
导入期间数据速率: 持续 348 MB/s - 1.39 GB/s
峰值突发(3倍): 最高 21,000 个二维码/秒,4 GB/s
解决方案:13 个存储节点 + 3 个控制/计算节点 + 1 个导入节点(JBOD + 3 副本,单机架)
可用容量: 2.29 PB(覆盖所有 110 亿个二维码,最大 200KB 大小)
原始容量: 6.86 PB(24 × 22TB × 13 个存储节点)
聚合 IOPS: ~125 万(每节点 96K × 13,足以满足顺序二维码存储)
聚合吞吐量: 39 GB/s 读取,19.5 GB/s 写入(超过 1.39 GB/s 需求)
冗余: 3 倍复制(JBOD,软件管理,可容忍 10 个节点故障)
硬件(联想 + 华为,推荐):
13x 联想 ThinkSystem SR650 V2 存储节点(每个 24x 22TB SAS)
3x 联想 ThinkSystem SR630 V2 控制/计算节点(多用途)
1x 联想 ThinkSystem SR650 V2 导入节点(前面板热插拔:USB/NVMe/SATA/SAS)
2x 华为 CloudEngine 6800 交换机(48 端口 25GbE)
导入能力: 10-32 GB/s 物理介质导入(无互联网瓶颈)
成本(中国,联想+华为): ¥1,973,000 资本支出(约 $274K USD)
注意: 不包括 UPS(超出项目范围)。价格基于联想中国和华为公开定价。
适合: 单个 42U 机架(使用 35U,7U 用于扩展)
供应商:联想(推荐用于中国部署)
服务器: 联想 ThinkSystem SR650 V2 和 SR630 V2
全球品牌,在中国市场表现优异
比戴尔在中国市场便宜 20-25%
相同的 Intel Xeon CPU,企业级质量
公开定价:每个配置节点约 ¥95,000-120,000
网络: 华为 CloudEngine 6800
在中国市场处于行业领先地位
公开定价:每台 48 端口 25GbE 交换机约 ¥90,000
与中国网络(中国电信/联通/移动)集成更好
管理: 联想 XClarity Controller(IPMI/Redfish 标准)
支持: 联想中国 4 小时现场响应
驱动器: Seagate Exos 或 WD Ultrastar(中国组装,无进口增值税)
单机架完整部署(13 个存储 + 3 个控制/计算 + 1 个导入节点)
U1-U2: 2x 华为 CloudEngine 6800-48S-EI 交换机(48 端口 25GbE,冗余,CSS)
U3-U4: 2x 国产 PDU(20x C13,4x C19 插座,208V 三相,A+B 供电)
U5-U30: 13x 存储节点(每个 2U,联想 ThinkSystem SR650 V2,24x 22TB SAS)
U31-U33: 3x 控制/计算节点(每个 1U,联想 ThinkSystem SR630 V2,多用途)
运行:摄取工作器、API 服务器、负载均衡器、控制平面
所有服务在所有 3 个节点上运行以实现冗余
U34-U35: 1x 导入节点(2U,联想 ThinkSystem SR650 V2,前面板热插拔用于物理介质)
USB 3.2 / NVMe / SATA / SAS 热插拔插槽
直接物理介质导入(无网络瓶颈)
U36-U42: 保留用于未来扩展(7U 可用)
使用的总机架空间:42U 中的 35U
机架顶部交换机:
型号:华为 CloudEngine 6800-48S-EI(推荐)
48x 25GbE SFP28 端口 + 6x 100GbE QSFP28 上行链路端口
2x 冗余 PSU(AC/DC)
2x 冗余风扇
VRP OS(华为通用路由平台)
公开定价:中国每台交换机约 ¥90,000
在中国市场处于行业领先地位,比戴尔便宜 25%
配置:
CSS(集群交换系统)配对以实现冗余
所有服务器连接的 LACP 绑定(每节点 2x25GbE)
VLAN:管理(VLAN10)、存储(VLAN20)、API(VLAN30)
启用巨型帧(MTU 9000)
上行链路:
2x 100GbE 光纤到核心/分发交换机
ECMP 路由用于负载分发
线缆:
DAC(直连铜缆)Twinax 用于机架内(< 5m)
OM4 MMF 或 SMF 用于机架间连接
电源需求(单机架 - 带导入节点:13 个存储 + 3 个计算 + 1 个导入):
存储节点:13 个节点 × 500W = 6,500W(HDD 比 NVMe 耗电少得多)
每个 HDD:~10W 空闲,~12W 活动
每节点 24 个 HDD:~300W
CPU + RAM + 风扇:~200W
控制/计算节点:3 个节点 × 600W = 1,800W
运行所有服务的多用途节点
CPU 利用率更高但已整合
导入节点:1 个节点 × 700W = 700W
由于 NVMe 暂存驱动器 + 多个控制器而功耗更高
导入操作期间的峰值
网络交换机:2 个交换机 × 400W = 800W
总计:~9,800W = 9.8 kW
含 30% 余量:单机架 12.7 kW
电源摘要:
存储节点:6.5 kW(13 个节点 × 500W)
控制/计算节点:1.8 kW(3 个节点 × 600W)
导入节点:0.7 kW(1 个节点 × 700W)
网络交换机:0.8 kW(2 个交换机 × 400W)
总计:9.8 kW(含 30% 余量为 12.7 kW)
PDU 配置(单机架 - 13 个存储节点):
2x 国产计量机架 PDU(冗余供电,A+B 电源)
输入:208V 三相,每个 PDU 30A
容量:208V × 30A × 1.732 = 每个 PDU 10.8 kVA(三相)
总计:机架 21.6 kVA(足以满足 12.7 kW 负载,有余量)
每个服务器:双 PSU 连接到单独的 PDU(A+B 供电)
冷却(单机架 - 带导入节点,13 个存储节点):
散热:12.7 kW × 3.41 = 43,307 BTU/hr(单机架)
需求:43,400 BTU/hr 的冷却容量(~3.6 吨)
选项:
使用现有 IT 机房 CRAC/HVAC(如果容量可用)
添加 1x 20kW 行内冷却单元(¥40,000-50,000)
标准精密空调单元(4-5 吨容量)
单机架无需特殊围护
存储容量规划:
最大需求:每年 2.2 PB
复制策略影响原始容量需求:
RAID 10 + 2 倍复制:4.4 PB 原始(复杂,双层冗余)
JBOD + 3 倍复制:6.6 PB 原始(更简单,仅软件冗余)
架构选择:JBOD vs RAID
JBOD + 3 副本(推荐,软件简单):
无 RAID 控制器复杂性
软件处理所有冗余(Ceph、MinIO 等)
每个驱动器独立,故障恢复更容易
更好的性能可观测性
分布式存储的标准方法
更容易重新平衡和维护
RAID 10 + 2 副本(传统方法):
硬件 RAID 提供本地冗余
更低的网络复制流量
更快的本地读取(RAID 条带化)
更复杂的故障场景(RAID + 集群)
驱动器故障时的 RAID 重建开销
存储节点:13 个节点,22TB SAS HDD + JBOD + 3 副本(覆盖所有 110 亿个二维码)
型号:联想 ThinkSystem SR650 V2(2U,24x 2.5" 驱动器插槽) 公开定价:中国每个配置节点约 ¥95,000-105,000
每个存储节点:
CPU: 2x Intel Xeon Silver 4316(20 核,2.3 GHz,30MB 缓存)
总计:每节点 40 核,80 线程
零件号:4XG7A42589
RAM: 256 GB DDR4-3200 ECC RDIMM(8x 32GB)
启动: 2x 480GB SATA SSD(RAID 1,操作系统)
存储: 24x 22TB SAS HDD 12Gbps 7.2K RPM
Seagate Exos X22(ST22000NM00 系列)或 WD Ultrastar
公开定价:每个驱动器约 ¥2,800-3,200(约 $390-445)
JBOD 配置(无 RAID,所有驱动器独立)
每节点:528 TB 原始(24 × 22TB)
总集群:6.86 PB 原始(13 个节点 × 528 TB)
3 倍复制:2.29 PB 可用
性能:每驱动器 4K IOPS,每节点 ~96K IOPS,每节点 1.5 GB/s
网络: 2x 联想 ThinkSystem Broadcom 57504 25GbE(4 端口,绑定)
HBA: 联想 ThinkSystem 430-8i SAS/SATA 12Gb HBA(直通模式)
PSU: 2x 1100W 铂金(冗余,208V)
机架空间: 13 个节点 × 2U = 26U
型号:联想 ThinkSystem SR650 V2(2U,前面板可访问热插拔) 公开定价:每个配置节点约 ¥140,000
每个节点:
CPU: 2x Intel Xeon Gold 6338(32 核,2.0 GHz,48MB 缓存)
总计:64 核,128 线程
高核数用于并行导入处理
RAM: 256 GB DDR4-3200 ECC
启动: 2x 480GB SATA SSD(RAID 1,操作系统)
导入暂存存储: 4x 7.68TB NVMe(JBOD)
总计:~31TB 暂存缓冲区
复制到存储集群之前的高速本地缓存
热插拔插槽(前面板): 12 个插槽支持:
USB 3.2 Gen 2x2: 4x 前面板 USB-C 端口(每个 2.5 GB/s)
NVMe U.2: 4x 热插拔 NVMe 插槽(每个驱动器最高 8 GB/s)
SATA/SAS: 4x 热插拔 3.5" 插槽(12 Gbps SAS)
控制器:
联想 ThinkSystem 430-8i SAS/SATA HBA(直通模式)
PCIe Gen4 NVMe 交换机
USB 3.2 Gen 2x2 控制器
网络: 2x 25GbE(绑定,LACP)
PSU: 2x 1100W 铂金
导入工作流程: 1. 操作员将物理介质(USB、NVMe、SATA、SAS)插入前面板 2. 驱动器自动挂载或热检测 3. 导入软件从介质读取数据 → 暂存 NVMe(快速本地) 4. 并行处理/验证二维码(32-48 核) 5. 通过 25GbE(或 100GbE)将验证后的数据流式传输到存储集群 6. 导入完成后操作员移除介质(LED 指示灯)
性能:
USB 3.2: 4 端口 × 2.5 GB/s = 10 GB/s 聚合
NVMe: 4 驱动器 × 8 GB/s = 32 GB/s 聚合
SATA/SAS: 4 驱动器 × 1.5 GB/s = 6 GB/s 聚合
网络: 2x 25GbE = 6.25 GB/s 到存储集群
暂存 NVMe:31TB 缓冲区允许在网络传输之前进行离线处理
优势:
无互联网/WiFi 瓶颈: 以全速直接物理介质导入
并行导入: 同时接受最多 12 个驱动器
灵活介质: 支持 USB、NVMe、SATA、SAS
高吞吐量: 本地暂存消除了读取期间的网络瓶颈
操作员友好: 前面板访问、LED 指示灯、热插拔安全
型号:联想 ThinkSystem SR630 V2(1U,多用途) 公开定价:每个配置节点约 ¥102,000
每个节点(运行所有服务):
CPU: 2x Intel Xeon Gold 6338(32 核,2.0 GHz)
总计:每节点 64 核,128 线程
足以满足摄取 + API + 控制平面 + 负载均衡
RAM: 256 GB DDR4-3200 ECC(8x 32GB)
启动: 2x 480GB SATA SSD(RAID 1,操作系统)
本地存储: 2x 3.84TB NVMe
网络: 2x 联想 ThinkSystem Broadcom 57504 25GbE(绑定,LACP)
PSU: 2x 800W 铂金
核心交换机(100GbE 上行链路)
↓
机架 ToR 交换机(华为 CSS 配对,25GbE 到服务器)
↓
联想服务器(双归属,LACP 绑定)
硬件(单机架 - 13 个存储 + 3 个控制/计算 + 1 个导入,完整 2.29 PB):
存储节点(13x):$195K
控制/计算节点(3x):$48K
导入节点(1x):$22K
网络交换机(2x):$30K
其他硬件和基础设施:$13K
总计:$308K 资本支出
注意: 不包括 UPS(超出项目范围)
电源需求:
总机架功率: 最大 9.5kW
13x 存储节点 @ 每个 400W = 5.2kW
3x 控制/计算节点 @ 每个 300W = 0.9kW
1x 导入节点 @ 500W = 0.5kW
2x 交换机 @ 每个 400W = 0.8kW
余量:~1.6kW 储备
PDU 需求: 2x 5kW PDU(A+B 供电)
冷却需求: ~12kW 热(9.5kW × 1.3 PUE)
存储: JBOD + 3 倍复制分布在 13 个联想 ThinkSystem SR650 V2 节点上
任何 10 个存储节点可同时故障而不会丢失数据(77% 冗余)
312 个独立驱动器(每节点 24 个 × 13),软件管理
单个驱动器故障:自动重新平衡到其他节点
无 RAID 重建开销 - 软件处理恢复
驱动器恢复:~22TB 通过 25GbE = ~2 小时(vs RAID 重建需要数天)
数据条带化和复制用于并行 I/O
需要最少 4 个节点以维持数据可用性(3 倍复制)
控制/计算: 3 个多用途节点(主动-主动-主动)
所有 3 个节点运行:摄取工作器、API 服务器、负载均衡器、控制平面
3 个节点中的任何 2 个可以处理完整工作负载(N+1 冗余)
可以丢失 1 个控制/计算节点而不会中断服务
通过 DNS 轮询或浮动 VIP(Keepalived)进行负载均衡
网络: 华为 VLT/CSS 交换机,双归属服务器(2x25GbE 绑定)
电源: 每个服务器双 PSU,冗余 PDU(A+B 供电)
扩展路径(如果未来需求增加):
第 1 年:13 个存储 + 3 个控制/计算 + 1 个导入 = 2.29 PB 可用(覆盖所有 110 亿个二维码)
未来扩展:机架中 7U 可用 = 最多 3 个更多 2U 存储节点
16 个存储节点:2.82 PB 可用(容量增加 23%)
超过 16 个节点:需要第二个机架或更高容量的驱动器
目标指标(13 个存储节点):
写入吞吐量:持续 6,960 个二维码/秒(1.39 GB/s)
3 倍复制:4.17 GB/s 网络写入流量
HDD 能力:19.5 GB/s 聚合写入(13 个节点 × 1.5 GB/s)✓ 优秀
峰值突发:21,000 个二维码/秒(4.2 GB/s)
3 倍复制:12.6 GB/s 网络写入流量
HDD 能力:19.5 GB/s 聚合写入(峰值)✓ 优秀(55% 余量)
读取延迟:< 50ms P99(带缓存)✓
存储 IOPS:125 万聚合(每节点 96K × 13,每驱动器 4K)
足以满足大型顺序二维码写入(每个 50-200 KB)
二维码是大块数据,不是小随机 I/O
网络吞吐量:650 Gbps 聚合(每节点 50 Gbps × 13)
网络利用率:持续写入期间 < 8%,峰值突发期间 < 24%
存储容量:2.29 PB 可用(3 倍复制为 6.86 PB 原始)
覆盖所有 110 亿个二维码,最大 200KB 大小
比 2.2 PB 最大需求高 4% 的缓冲区
驱动器故障恢复:分布在所有健康节点上
冗余:可容忍最多 10 个存储节点故障(77% 冗余)
HDD 性能特征:
顺序吞吐量:优秀(每驱动器 150-250 MB/s)
随机 IOPS:低于 NVMe(4K IOPS vs 100K+ IOPS)
二维码工作负载:主要是顺序大块写入(50-200 KB)
结论: HDD 非常适合此工作负载(大顺序 I/O)
配置:13 个存储 + 3 个控制/计算 + 1 个导入(JBOD + 3 副本,单机架)
| 指标 | 规格 |
|---|---|
| 存储服务器 | 13x 联想 ThinkSystem SR650 V2(每个 2U) |
| 控制/计算 | 3x 联想 ThinkSystem SR630 V2(每个 1U) |
| 导入节点 | 1x 联想 ThinkSystem SR650 V2(2U) |
| 交换机 | 2x 华为 CE6800(25GbE) |
| 每个存储节点的驱动器 | 24x 22TB SAS(12Gbps,7.2K RPM) |
| 可用容量 | 2.29 PB(覆盖所有 110 亿个二维码,最大 200KB) |
| 原始容量 | 6.86 PB(3 倍复制) |
| 机架空间 | 42U 中的 35U(7U 扩展可用) |
| 聚合 IOPS | 125 万(每个存储节点 96K) |
| 聚合吞吐量 | 39 GB/s 读取,19.5 GB/s 写入 |
| 电源 | 12.7 kW(9.8 kW 实际,30% 余量) |
| 资本支出(中国,联想+华为) | ¥1,973,000(约 $274K USD) |
| 存储冗余 | 可丢失 10 个存储节点(77% 冗余) |
| 计算冗余 | N+1(3 个节点中的任何 2 个) |
| 导入速度 | 10-32 GB/s(物理介质) |
| 驱动器可靠性 | SAS 企业级 |
| 扩展 | 7U 可用 = 最多 3 个更多存储节点 |
关键特性:
✅ 完整容量: 2.29 PB 覆盖所有 110 亿个二维码,最大 200KB 大小
✅ 高冗余: 可容忍 10 个同时存储节点故障
✅ 单机架: 所有设备在一个 42U 机架中(使用 35U)
✅ 国产品牌: 比戴尔便宜 20%,优秀的本地支持
✅ 物理导入: 通过 USB/NVMe/SATA/SAS 热插拔 10-32 GB/s
✅ 行业标准: JBOD + 3 副本架构
汇率:1 USD = 7.2 CNY(近似,2026 年 1 月)
中国摘要(13 个存储节点,完整容量,IT 机房):
推荐: 联想 ThinkSystem + 华为 CE6800
资本支出: ¥1,973,000(约 $274K USD,基于公开定价)
容量: 2.29 PB 可用(覆盖所有 110 亿个二维码,最大 200KB 大小)
电源需求: 总计 12.7 kW(9.8 kW 实际 + 30% 余量)
导入节点优势: 10-32 GB/s 物理介质导入(USB/NVMe/SATA/SAS)
消除互联网/WiFi 瓶颈
前面板热插拔便于操作员使用
31TB 暂存缓冲区用于离线处理
硬件(联想 + 华为 - 13 个存储节点,2.29 PB):
存储节点(13x 联想 ThinkSystem SR650 V2,24x 22TB SAS):¥1,235,000
基础服务器:每节点约 ¥35,000
24x 22TB SAS 驱动器 @ 每个 ¥3,000:每节点 ¥72,000
CPU、RAM、HBA 升级:每节点约 ¥23,000
每节点总计:¥95,000
公开定价参考:联想中国网站
控制/计算节点(3x 联想 ThinkSystem SR630 V2):¥306,000
每个节点:¥102,000(约 $14,200)
多用途:摄取 + API + 负载均衡 + 控制
导入节点(1x 联想 ThinkSystem SR650 V2,带热插拔):¥140,000
网络交换机(2x 华为 CloudEngine 6800-48S-EI):¥180,000
PDU、线缆、杂项:¥64,000
硬件小计(联想 + 华为):¥1,925,000
基础设施(如果 IT 机房不存在):
机架(42U,国产):¥8,000
冷却(1x 20kW 行内,如果 IT 机房 HVAC 不足):¥40,000
基础设施小计:¥48,000
注意: 可能在现有 IT 机房中部分/完全可用(相应减少资本支出)
总资本支出(13 个存储节点,完整 2.29 PB):
联想 + 华为:¥1,973,000(约 $274K USD,推荐)
注意: 不包括 UPS(超出项目范围)。价格基于联想中国公开定价和华为企业报价。
电源需求(13 个存储节点):
总功率: 12.7 kW
13x 存储节点 @ 每个 400W = 5.2 kW
3x 控制/计算节点 @ 每个 500W = 1.5 kW
1x 导入节点 @ 600W = 0.6 kW
2x 交换机 @ 每个 400W = 0.8 kW
开销和余量 = 4.6 kW
冷却需求: 16.5 kW 热(12.7 kW × 1.3 PUE)
电路需求: 最少 2x 32A 三相 208V 电路
推荐:本地组装的企业级驱动器
Seagate Exos X22 22TB(苏州工厂):每个驱动器 ¥2,800-3,200
Western Digital Ultrastar DC HC570 22TB(上海/深圳):每个驱动器 ¥2,900-3,300
本地组装 = 无进口增值税(节省 13%)
提供增值税发票用于税务抵扣
与国际版本相同的保修
更快的更换(本地库存)
| 项目 | 价值 |
|---|---|
| 资本支出 | ¥1,973,000(约 $274K USD) |
| 容量 | 2.29 PB 可用 |
| 电源 | 总计 12.7 kW |
| 机架空间 | 42U 中的 35U |
联想 ThinkSystem SR650 V2 + SR630 V2 + 华为 CE6800
覆盖所有 110 亿个二维码,最大 200KB 大小
导入节点:10-32 GB/s 物理介质导入(无网络瓶颈)
不包括 UPS(超出项目范围)
中国部署建议(IT 机房,13 个存储节点): 1. 使用联想 ThinkSystem + 华为 - 公开定价可用,比戴尔节省 20% 2. IT 机房需求(13 个存储节点,完整 2.29 PB): - 电源:需要 12.7 kW 容量(208V 三相,30A × 2 PDU) - 冷却:43,400 BTU/hr 散热(~3.6 吨,12.7 kW × 3,412 BTU/kW) - 地板承重:~1,100 kg 总重量(17 台服务器 + 交换机 + 机架) - 导入节点的操作员访问(前面板热插拔) - 机架空间:使用 42U 中的 35U(7U 用于未来扩展) 3. 本地支持合同 必不可少(联想 + 华为在中国有优秀的支持,4 小时响应) 5. 批量采购折扣 - 大订单协商 10-15% 折扣 6. 付款条件: Net 30-90 常见,一些供应商提供 6-12 个月融资 7. 增值税发票(增值税发票): 税务抵扣必不可少,确保所有供应商提供 8. 国产驱动器: 从中国工厂购买 Seagate/WD 以避免进口增值税 9. 网络集成: 规划到现有企业网络的上行链路
供应商联系(中国):
联想:DCG(数据中心集团)- https://www.lenovo.com/cn/zh/data-center(联想数据中心)
ThinkSystem 服务器在网站上有公开定价
联系:400-100-6000(中国热线)
华为:企业网络部门 - https://e.huawei.com(华为企业)
CloudEngine 交换机需要企业报价
联系本地华为客户经理
本地集成商:通常比直接购买便宜 5-10%(例如,神州数码 Digital China)
推荐配置:联想 ThinkSystem + 华为在二线城市
硬件(13 个存储节点,完整 2.29 PB 容量):
13x 联想 ThinkSystem SR650 V2 存储节点(每个 24x 22TB SAS)= 2.29 PB 可用
3x 联想 ThinkSystem SR630 V2 控制/计算节点(多用途)
1x 联想 ThinkSystem SR650 V2 导入节点(前面板热插拔)
2x 华为 CloudEngine 6800-48S-EI 交换机(48 端口 25GbE)
容量: 2.29 PB 可用 - 覆盖所有 110 亿个二维码,最大 200KB 大小
成本:
资本支出: ¥1,973,000(约 $274K USD)
注意: 不包括 UPS(超出项目范围)。基于联想中国和华为公开定价。
电源需求:
总计: 12.7 kW(9.8 kW 实际 + 30% 余量)
冷却: 43,400 BTU/hr(~3.6 吨)