682 lines
32 KiB
HTML
682 lines
32 KiB
HTML
<!DOCTYPE html>
|
||
<html xmlns="http://www.w3.org/1999/xhtml" lang="" xml:lang="">
|
||
<head>
|
||
<meta charset="utf-8" />
|
||
<meta name="generator" content="pandoc" />
|
||
<meta name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=yes" />
|
||
<title>项目 11b - 硬件规格</title>
|
||
<style>
|
||
code{white-space: pre-wrap;}
|
||
span.smallcaps{font-variant: small-caps;}
|
||
span.underline{text-decoration: underline;}
|
||
div.column{display: inline-block; vertical-align: top; width: 50%;}
|
||
div.hanging-indent{margin-left: 1.5em; text-indent: -1.5em;}
|
||
ul.task-list{list-style: none;}
|
||
</style>
|
||
<style>
|
||
body {
|
||
font-family: Arial, sans-serif;
|
||
max-width: 1200px;
|
||
margin: 0 auto;
|
||
padding: 20px;
|
||
line-height: 1.6;
|
||
}
|
||
table {
|
||
border-collapse: collapse;
|
||
width: 100%;
|
||
margin: 20px 0;
|
||
}
|
||
th, td {
|
||
border: 1px solid #ddd;
|
||
padding: 8px;
|
||
text-align: left;
|
||
}
|
||
th {
|
||
background-color: #f2f2f2;
|
||
}
|
||
code {
|
||
background-color: #f5f5f5;
|
||
padding: 2px 4px;
|
||
border-radius: 3px;
|
||
}
|
||
pre {
|
||
background-color: #f5f5f5;
|
||
padding: 10px;
|
||
border-radius: 5px;
|
||
overflow-x: auto;
|
||
}
|
||
ul, ol {
|
||
margin: 10px 0;
|
||
padding-left: 30px;
|
||
}
|
||
li {
|
||
margin: 5px 0;
|
||
}
|
||
|
||
</style>
|
||
</head>
|
||
<body>
|
||
<header id="title-block-header">
|
||
<h1 class="title">项目 11b - 硬件规格</h1>
|
||
</header>
|
||
<p>项目 11b - 硬件规格 v0.1</p>
|
||
<h2 id="需求">1. 需求</h2>
|
||
<p>年度数据量：110 亿个二维码，每个 50KB - 200KB。</p>
|
||
<ul>
|
||
<li><p><strong>总存储量：</strong> 每年 550 TB - 2.2 PB</p></li>
|
||
<li><p><strong>导入窗口：</strong> 年度的 1/20 到 1/10（18-36 天）</p></li>
|
||
<li><p><strong>写入吞吐量：</strong> 持续 3,480 - 6,960 个二维码/秒</p></li>
|
||
<li><p><strong>导入期间数据速率：</strong> 持续 348 MB/s - 1.39 GB/s</p></li>
|
||
<li><p><strong>峰值突发（3倍）：</strong> 最高 21,000 个二维码/秒，4 GB/s</p></li>
|
||
</ul>
|
||
<p><strong>解决方案：13 个存储节点 + 3 个控制/计算节点 + 1 个导入节点（JBOD + 3 副本，单机架）</strong></p>
|
||
<ul>
|
||
<li><p><strong>可用容量：</strong> 2.29 PB（覆盖所有 110 亿个二维码，最大 200KB 大小）</p></li>
|
||
<li><p><strong>原始容量：</strong> 6.86 PB（24 × 22TB × 13 个存储节点）</p></li>
|
||
<li><p><strong>聚合 IOPS：</strong> ~125 万（每节点 96K × 13，足以满足顺序二维码存储）</p></li>
|
||
<li><p><strong>聚合吞吐量：</strong> 39 GB/s 读取，19.5 GB/s 写入（超过 1.39 GB/s 需求）</p></li>
|
||
<li><p><strong>冗余：</strong> 3 倍复制（JBOD，软件管理，可容忍 10 个节点故障）</p></li>
|
||
<li><p><strong>硬件（联想 + 华为，推荐）：</strong></p>
|
||
<ul>
|
||
<li><p>13x 联想 ThinkSystem SR650 V2 存储节点（每个 24x 22TB SAS）</p></li>
|
||
<li><p>3x 联想 ThinkSystem SR630 V2 控制/计算节点（多用途）</p></li>
|
||
<li><p>1x 联想 ThinkSystem SR650 V2 导入节点（前面板热插拔：USB/NVMe/SATA/SAS）</p></li>
|
||
<li><p>2x 华为 CloudEngine 6800 交换机（48 端口 25GbE）</p></li>
|
||
</ul></li>
|
||
<li><p><strong>导入能力：</strong> 10-32 GB/s 物理介质导入（无互联网瓶颈）</p></li>
|
||
<li><p><strong>成本（中国，联想+华为）：</strong> ¥1,973,000 资本支出（约 $274K USD）</p></li>
|
||
<li><p><strong>注意：</strong> 不包括 UPS（超出项目范围）。价格基于联想中国和华为公开定价。</p></li>
|
||
<li><p><strong>适合：</strong> 单个 42U 机架（使用 35U，7U 用于扩展）</p></li>
|
||
</ul>
|
||
<h2 id="硬件配置">2. 硬件配置</h2>
|
||
<p><strong>供应商：联想（推荐用于中国部署）</strong></p>
|
||
<ul>
|
||
<li><p><strong>服务器：</strong> 联想 ThinkSystem SR650 V2 和 SR630 V2</p>
|
||
<ul>
|
||
<li><p>全球品牌，在中国市场表现优异</p></li>
|
||
<li><p>比戴尔在中国市场便宜 20-25%</p></li>
|
||
<li><p>相同的 Intel Xeon CPU，企业级质量</p></li>
|
||
<li><p>公开定价：每个配置节点约 ¥95,000-120,000</p></li>
|
||
</ul></li>
|
||
<li><p><strong>网络：</strong> 华为 CloudEngine 6800</p>
|
||
<ul>
|
||
<li><p>在中国市场处于行业领先地位</p></li>
|
||
<li><p>公开定价：每台 48 端口 25GbE 交换机约 ¥90,000</p></li>
|
||
<li><p>与中国网络（中国电信/联通/移动）集成更好</p></li>
|
||
</ul></li>
|
||
<li><p><strong>管理：</strong> 联想 XClarity Controller（IPMI/Redfish 标准）</p></li>
|
||
<li><p><strong>支持：</strong> 联想中国 4 小时现场响应</p></li>
|
||
<li><p><strong>驱动器：</strong> Seagate Exos 或 WD Ultrastar（中国组装，无进口增值税）</p></li>
|
||
</ul>
|
||
<h3 id="机架布局单个-42u-标准机架">2.1 机架布局（单个 42U 标准机架）</h3>
|
||
<p><strong>单机架完整部署（13 个存储 + 3 个控制/计算 + 1 个导入节点）</strong></p>
|
||
<ul>
|
||
<li><p><strong>U1-U2：</strong> 2x 华为 CloudEngine 6800-48S-EI 交换机（48 端口 25GbE，冗余，CSS）</p></li>
|
||
<li><p><strong>U3-U4：</strong> 2x 国产 PDU（20x C13，4x C19 插座，208V 三相，A+B 供电）</p></li>
|
||
<li><p><strong>U5-U30：</strong> 13x 存储节点（每个 2U，联想 ThinkSystem SR650 V2，24x 22TB SAS）</p>
|
||
<ul>
|
||
<li>2.29 PB 可用（覆盖所有 110 亿个二维码，最大 200KB 大小）</li>
|
||
</ul></li>
|
||
<li><p><strong>U31-U33：</strong> 3x 控制/计算节点（每个 1U，联想 ThinkSystem SR630 V2，多用途）</p>
|
||
<ul>
|
||
<li><p>运行：摄取工作器、API 服务器、负载均衡器、控制平面</p></li>
|
||
<li><p>所有服务在所有 3 个节点上运行以实现冗余</p></li>
|
||
</ul></li>
|
||
<li><p><strong>U34-U35：</strong> 1x 导入节点（2U，联想 ThinkSystem SR650 V2，前面板热插拔用于物理介质）</p>
|
||
<ul>
|
||
<li><p>USB 3.2 / NVMe / SATA / SAS 热插拔插槽</p></li>
|
||
<li><p>直接物理介质导入（无网络瓶颈）</p></li>
|
||
</ul></li>
|
||
<li><p><strong>U36-U42：</strong> 保留用于未来扩展（7U 可用）</p></li>
|
||
</ul>
|
||
<p><strong>使用的总机架空间：42U 中的 35U</strong></p>
|
||
<h3 id="网络设计">2.2 网络设计</h3>
|
||
<p><strong>机架顶部交换机：</strong></p>
|
||
<ul>
|
||
<li><p>型号：华为 CloudEngine 6800-48S-EI（推荐）</p>
|
||
<ul>
|
||
<li><p>48x 25GbE SFP28 端口 + 6x 100GbE QSFP28 上行链路端口</p></li>
|
||
<li><p>2x 冗余 PSU（AC/DC）</p></li>
|
||
<li><p>2x 冗余风扇</p></li>
|
||
<li><p>VRP OS（华为通用路由平台）</p></li>
|
||
<li><p>公开定价：中国每台交换机约 ¥90,000</p></li>
|
||
<li><p>在中国市场处于行业领先地位，比戴尔便宜 25%</p></li>
|
||
</ul></li>
|
||
<li><p>配置：</p>
|
||
<ul>
|
||
<li><p>CSS（集群交换系统）配对以实现冗余</p></li>
|
||
<li><p>所有服务器连接的 LACP 绑定（每节点 2x25GbE）</p></li>
|
||
<li><p>VLAN：管理（VLAN10）、存储（VLAN20）、API（VLAN30）</p></li>
|
||
<li><p>启用巨型帧（MTU 9000）</p></li>
|
||
</ul></li>
|
||
</ul>
|
||
<p><strong>上行链路：</strong></p>
|
||
<ul>
|
||
<li><p>2x 100GbE 光纤到核心/分发交换机</p></li>
|
||
<li><p>ECMP 路由用于负载分发</p></li>
|
||
</ul>
|
||
<p><strong>线缆：</strong></p>
|
||
<ul>
|
||
<li><p>DAC（直连铜缆）Twinax 用于机架内（< 5m）</p></li>
|
||
<li><p>OM4 MMF 或 SMF 用于机架间连接</p></li>
|
||
</ul>
|
||
<h3 id="电源设计">2.3 电源设计</h3>
|
||
<p><strong>电源需求（单机架 - 带导入节点：13 个存储 + 3 个计算 + 1 个导入）：</strong></p>
|
||
<ul>
|
||
<li><p>存储节点：13 个节点 × 500W = 6,500W（HDD 比 NVMe 耗电少得多）</p>
|
||
<ul>
|
||
<li><p>每个 HDD：~10W 空闲，~12W 活动</p></li>
|
||
<li><p>每节点 24 个 HDD：~300W</p></li>
|
||
<li><p>CPU + RAM + 风扇：~200W</p></li>
|
||
</ul></li>
|
||
<li><p>控制/计算节点：3 个节点 × 600W = 1,800W</p>
|
||
<ul>
|
||
<li><p>运行所有服务的多用途节点</p></li>
|
||
<li><p>CPU 利用率更高但已整合</p></li>
|
||
</ul></li>
|
||
<li><p>导入节点：1 个节点 × 700W = 700W</p>
|
||
<ul>
|
||
<li><p>由于 NVMe 暂存驱动器 + 多个控制器而功耗更高</p></li>
|
||
<li><p>导入操作期间的峰值</p></li>
|
||
</ul></li>
|
||
<li><p>网络交换机：2 个交换机 × 400W = 800W</p></li>
|
||
<li><p><strong>总计：~9,800W = 9.8 kW</strong></p></li>
|
||
<li><p><strong>含 30% 余量：单机架 12.7 kW</strong></p></li>
|
||
</ul>
|
||
<p><strong>电源摘要：</strong></p>
|
||
<ul>
|
||
<li><p>存储节点：6.5 kW（13 个节点 × 500W）</p></li>
|
||
<li><p>控制/计算节点：1.8 kW（3 个节点 × 600W）</p></li>
|
||
<li><p>导入节点：0.7 kW（1 个节点 × 700W）</p></li>
|
||
<li><p>网络交换机：0.8 kW（2 个交换机 × 400W）</p></li>
|
||
<li><p><strong>总计：9.8 kW（含 30% 余量为 12.7 kW）</strong></p></li>
|
||
</ul>
|
||
<p><strong>PDU 配置（单机架 - 13 个存储节点）：</strong></p>
|
||
<ul>
|
||
<li><p>2x 国产计量机架 PDU（冗余供电，A+B 电源）</p>
|
||
<ul>
|
||
<li><p>输入：208V 三相，每个 PDU 30A</p></li>
|
||
<li><p>容量：208V × 30A × 1.732 = 每个 PDU 10.8 kVA（三相）</p></li>
|
||
<li><p>总计：机架 21.6 kVA（足以满足 12.7 kW 负载，有余量）</p></li>
|
||
</ul></li>
|
||
<li><p>每个服务器：双 PSU 连接到单独的 PDU（A+B 供电）</p></li>
|
||
</ul>
|
||
<p><strong>冷却（单机架 - 带导入节点，13 个存储节点）：</strong></p>
|
||
<ul>
|
||
<li><p>散热：12.7 kW × 3.41 = 43,307 BTU/hr（单机架）</p></li>
|
||
<li><p>需求：43,400 BTU/hr 的冷却容量（~3.6 吨）</p></li>
|
||
<li><p>选项：</p>
|
||
<ul>
|
||
<li><p>使用现有 IT 机房 CRAC/HVAC（如果容量可用）</p></li>
|
||
<li><p>添加 1x 20kW 行内冷却单元（¥40,000-50,000）</p></li>
|
||
<li><p>标准精密空调单元（4-5 吨容量）</p></li>
|
||
</ul></li>
|
||
<li><p>单机架无需特殊围护</p></li>
|
||
</ul>
|
||
<h3 id="存储节点规格">2.4 存储节点规格</h3>
|
||
<p><strong>存储容量规划：</strong></p>
|
||
<ul>
|
||
<li><p>最大需求：每年 2.2 PB</p></li>
|
||
<li><p>复制策略影响原始容量需求：</p>
|
||
<ul>
|
||
<li><p>RAID 10 + 2 倍复制：4.4 PB 原始（复杂，双层冗余）</p></li>
|
||
<li><p>JBOD + 3 倍复制：6.6 PB 原始（更简单，仅软件冗余）</p></li>
|
||
</ul></li>
|
||
</ul>
|
||
<p><strong>架构选择：JBOD vs RAID</strong></p>
|
||
<p><strong>JBOD + 3 副本（推荐，软件简单）：</strong></p>
|
||
<ul>
|
||
<li><p>无 RAID 控制器复杂性</p></li>
|
||
<li><p>软件处理所有冗余（Ceph、MinIO 等）</p></li>
|
||
<li><p>每个驱动器独立，故障恢复更容易</p></li>
|
||
<li><p>更好的性能可观测性</p></li>
|
||
<li><p>分布式存储的标准方法</p></li>
|
||
<li><p>更容易重新平衡和维护</p></li>
|
||
</ul>
|
||
<p><strong>RAID 10 + 2 副本（传统方法）：</strong></p>
|
||
<ul>
|
||
<li><p>硬件 RAID 提供本地冗余</p></li>
|
||
<li><p>更低的网络复制流量</p></li>
|
||
<li><p>更快的本地读取（RAID 条带化）</p></li>
|
||
<li><p>更复杂的故障场景（RAID + 集群）</p></li>
|
||
<li><p>驱动器故障时的 RAID 重建开销</p></li>
|
||
</ul>
|
||
<p><strong>存储节点：13 个节点，22TB SAS HDD + JBOD + 3 副本（覆盖所有 110 亿个二维码）</strong></p>
|
||
<p><strong>型号：联想 ThinkSystem SR650 V2（2U，24x 2.5" 驱动器插槽）</strong> <strong>公开定价：中国每个配置节点约 ¥95,000-105,000</strong></p>
|
||
<p><strong>每个存储节点：</strong></p>
|
||
<ul>
|
||
<li><p><strong>CPU：</strong> 2x Intel Xeon Silver 4316（20 核，2.3 GHz，30MB 缓存）</p>
|
||
<ul>
|
||
<li><p>总计：每节点 40 核，80 线程</p></li>
|
||
<li><p>零件号：4XG7A42589</p></li>
|
||
</ul></li>
|
||
<li><p><strong>RAM：</strong> 256 GB DDR4-3200 ECC RDIMM（8x 32GB）</p>
|
||
<ul>
|
||
<li>零件号：4X77A08633 或同等产品</li>
|
||
</ul></li>
|
||
<li><p><strong>启动：</strong> 2x 480GB SATA SSD（RAID 1，操作系统）</p>
|
||
<ul>
|
||
<li>联想 2.5" 6Gb SATA SSD</li>
|
||
</ul></li>
|
||
<li><p><strong>存储：</strong> 24x 22TB SAS HDD 12Gbps 7.2K RPM</p>
|
||
<ul>
|
||
<li><p>Seagate Exos X22（ST22000NM00 系列）或 WD Ultrastar</p></li>
|
||
<li><p>公开定价：每个驱动器约 ¥2,800-3,200（约 $390-445）</p></li>
|
||
<li><p>JBOD 配置（无 RAID，所有驱动器独立）</p></li>
|
||
<li><p>每节点：528 TB 原始（24 × 22TB）</p></li>
|
||
<li><p>总集群：6.86 PB 原始（13 个节点 × 528 TB）</p></li>
|
||
<li><p>3 倍复制：2.29 PB 可用</p></li>
|
||
<li><p>性能：每驱动器 4K IOPS，每节点 ~96K IOPS，每节点 1.5 GB/s</p></li>
|
||
</ul></li>
|
||
<li><p><strong>网络：</strong> 2x 联想 ThinkSystem Broadcom 57504 25GbE（4 端口，绑定）</p></li>
|
||
<li><p><strong>HBA：</strong> 联想 ThinkSystem 430-8i SAS/SATA 12Gb HBA（直通模式）</p></li>
|
||
<li><p><strong>PSU：</strong> 2x 1100W 铂金（冗余，208V）</p></li>
|
||
<li><p><strong>机架空间：</strong> 13 个节点 × 2U = 26U</p></li>
|
||
</ul>
|
||
<h3 id="导入节点规格1-个节点专用于物理介质导入">2.5 导入节点规格（1 个节点，专用于物理介质导入）</h3>
|
||
<p><strong>型号：联想 ThinkSystem SR650 V2（2U，前面板可访问热插拔）</strong> <strong>公开定价：每个配置节点约 ¥140,000</strong></p>
|
||
<p><strong>每个节点：</strong></p>
|
||
<ul>
|
||
<li><p><strong>CPU：</strong> 2x Intel Xeon Gold 6338（32 核，2.0 GHz，48MB 缓存）</p>
|
||
<ul>
|
||
<li><p>总计：64 核，128 线程</p></li>
|
||
<li><p>高核数用于并行导入处理</p></li>
|
||
</ul></li>
|
||
<li><p><strong>RAM：</strong> 256 GB DDR4-3200 ECC</p>
|
||
<ul>
|
||
<li>用于暂存导入数据的大缓冲区</li>
|
||
</ul></li>
|
||
<li><p><strong>启动：</strong> 2x 480GB SATA SSD（RAID 1，操作系统）</p></li>
|
||
<li><p><strong>导入暂存存储：</strong> 4x 7.68TB NVMe（JBOD）</p>
|
||
<ul>
|
||
<li><p>总计：~31TB 暂存缓冲区</p></li>
|
||
<li><p>复制到存储集群之前的高速本地缓存</p></li>
|
||
</ul></li>
|
||
<li><p><strong>热插拔插槽（前面板）：</strong> 12 个插槽支持：</p>
|
||
<ul>
|
||
<li><p><strong>USB 3.2 Gen 2x2：</strong> 4x 前面板 USB-C 端口（每个 2.5 GB/s）</p></li>
|
||
<li><p><strong>NVMe U.2：</strong> 4x 热插拔 NVMe 插槽（每个驱动器最高 8 GB/s）</p></li>
|
||
<li><p><strong>SATA/SAS：</strong> 4x 热插拔 3.5" 插槽（12 Gbps SAS）</p></li>
|
||
</ul></li>
|
||
<li><p><strong>控制器：</strong></p>
|
||
<ul>
|
||
<li><p>联想 ThinkSystem 430-8i SAS/SATA HBA（直通模式）</p></li>
|
||
<li><p>PCIe Gen4 NVMe 交换机</p></li>
|
||
<li><p>USB 3.2 Gen 2x2 控制器</p></li>
|
||
</ul></li>
|
||
<li><p><strong>网络：</strong> 2x 25GbE（绑定，LACP）</p></li>
|
||
<li><p><strong>PSU：</strong> 2x 1100W 铂金</p></li>
|
||
</ul>
|
||
<p><strong>导入工作流程：</strong> 1. 操作员将物理介质（USB、NVMe、SATA、SAS）插入前面板 2. 驱动器自动挂载或热检测 3. 导入软件从介质读取数据 → 暂存 NVMe（快速本地） 4. 并行处理/验证二维码（32-48 核） 5. 通过 25GbE（或 100GbE）将验证后的数据流式传输到存储集群 6. 导入完成后操作员移除介质（LED 指示灯）</p>
|
||
<p><strong>性能：</strong></p>
|
||
<ul>
|
||
<li><p><strong>USB 3.2：</strong> 4 端口 × 2.5 GB/s = 10 GB/s 聚合</p></li>
|
||
<li><p><strong>NVMe：</strong> 4 驱动器 × 8 GB/s = 32 GB/s 聚合</p></li>
|
||
<li><p><strong>SATA/SAS：</strong> 4 驱动器 × 1.5 GB/s = 6 GB/s 聚合</p></li>
|
||
<li><p><strong>网络：</strong> 2x 25GbE = 6.25 GB/s 到存储集群</p></li>
|
||
<li><p>暂存 NVMe：31TB 缓冲区允许在网络传输之前进行离线处理</p></li>
|
||
</ul>
|
||
<p><strong>优势：</strong></p>
|
||
<ul>
|
||
<li><p><strong>无互联网/WiFi 瓶颈：</strong> 以全速直接物理介质导入</p></li>
|
||
<li><p><strong>并行导入：</strong> 同时接受最多 12 个驱动器</p></li>
|
||
<li><p><strong>灵活介质：</strong> 支持 USB、NVMe、SATA、SAS</p></li>
|
||
<li><p><strong>高吞吐量：</strong> 本地暂存消除了读取期间的网络瓶颈</p></li>
|
||
<li><p><strong>操作员友好：</strong> 前面板访问、LED 指示灯、热插拔安全</p></li>
|
||
</ul>
|
||
<h3 id="控制计算节点规格3-个节点整合">2.6 控制/计算节点规格（3 个节点，整合）</h3>
|
||
<p><strong>型号：联想 ThinkSystem SR630 V2（1U，多用途）</strong> <strong>公开定价：每个配置节点约 ¥102,000</strong></p>
|
||
<p><strong>每个节点（运行所有服务）：</strong></p>
|
||
<ul>
|
||
<li><p><strong>CPU：</strong> 2x Intel Xeon Gold 6338（32 核，2.0 GHz）</p>
|
||
<ul>
|
||
<li><p>总计：每节点 64 核，128 线程</p></li>
|
||
<li><p>足以满足摄取 + API + 控制平面 + 负载均衡</p></li>
|
||
</ul></li>
|
||
<li><p><strong>RAM：</strong> 256 GB DDR4-3200 ECC（8x 32GB）</p>
|
||
<ul>
|
||
<li>分配：128GB 用于摄取，64GB 用于 API，64GB 用于系统/控制</li>
|
||
</ul></li>
|
||
<li><p><strong>启动：</strong> 2x 480GB SATA SSD（RAID 1，操作系统）</p></li>
|
||
<li><p><strong>本地存储：</strong> 2x 3.84TB NVMe</p>
|
||
<ul>
|
||
<li>摄取写入缓冲区 + API 读取缓存 + 监控数据</li>
|
||
</ul></li>
|
||
<li><p><strong>网络：</strong> 2x 联想 ThinkSystem Broadcom 57504 25GbE（绑定，LACP）</p></li>
|
||
<li><p><strong>PSU：</strong> 2x 800W 铂金</p></li>
|
||
</ul>
|
||
<h2 id="网络拓扑">3. 网络拓扑</h2>
|
||
<pre><code>核心交换机（100GbE 上行链路）
|
||
↓
|
||
机架 ToR 交换机（华为 CSS 配对，25GbE 到服务器）
|
||
↓
|
||
联想服务器（双归属，LACP 绑定）</code></pre>
|
||
<h2 id="成本估算近似">4. 成本估算（近似）</h2>
|
||
<p><strong>硬件（单机架 - 13 个存储 + 3 个控制/计算 + 1 个导入，完整 2.29 PB）：</strong></p>
|
||
<ul>
|
||
<li><p>存储节点（13x）：$195K</p></li>
|
||
<li><p>控制/计算节点（3x）：$48K</p></li>
|
||
<li><p>导入节点（1x）：$22K</p></li>
|
||
<li><p>网络交换机（2x）：$30K</p></li>
|
||
<li><p>其他硬件和基础设施：$13K</p></li>
|
||
<li><p><strong>总计：$308K 资本支出</strong></p></li>
|
||
<li><p><strong>注意：</strong> 不包括 UPS（超出项目范围）</p></li>
|
||
</ul>
|
||
<p><strong>电源需求：</strong></p>
|
||
<ul>
|
||
<li><p><strong>总机架功率：</strong> 最大 9.5kW</p>
|
||
<ul>
|
||
<li><p>13x 存储节点 @ 每个 400W = 5.2kW</p></li>
|
||
<li><p>3x 控制/计算节点 @ 每个 300W = 0.9kW</p></li>
|
||
<li><p>1x 导入节点 @ 500W = 0.5kW</p></li>
|
||
<li><p>2x 交换机 @ 每个 400W = 0.8kW</p></li>
|
||
<li><p>余量：~1.6kW 储备</p></li>
|
||
</ul></li>
|
||
<li><p><strong>PDU 需求：</strong> 2x 5kW PDU（A+B 供电）</p></li>
|
||
<li><p><strong>冷却需求：</strong> ~12kW 热（9.5kW × 1.3 PUE）</p></li>
|
||
</ul>
|
||
<h2 id="冗余和高可用性单机架13-个存储节点">5. 冗余和高可用性（单机架，13 个存储节点）</h2>
|
||
<ul>
|
||
<li><p><strong>存储：</strong> JBOD + 3 倍复制分布在 13 个联想 ThinkSystem SR650 V2 节点上</p>
|
||
<ul>
|
||
<li><p><strong>任何 10 个存储节点可同时故障而不会丢失数据（77% 冗余）</strong></p></li>
|
||
<li><p>312 个独立驱动器（每节点 24 个 × 13），软件管理</p></li>
|
||
<li><p>单个驱动器故障：自动重新平衡到其他节点</p></li>
|
||
<li><p>无 RAID 重建开销 - 软件处理恢复</p></li>
|
||
<li><p>驱动器恢复：~22TB 通过 25GbE = ~2 小时（vs RAID 重建需要数天）</p></li>
|
||
<li><p>数据条带化和复制用于并行 I/O</p></li>
|
||
<li><p>需要最少 4 个节点以维持数据可用性（3 倍复制）</p></li>
|
||
</ul></li>
|
||
<li><p><strong>控制/计算：</strong> 3 个多用途节点（主动-主动-主动）</p>
|
||
<ul>
|
||
<li><p>所有 3 个节点运行：摄取工作器、API 服务器、负载均衡器、控制平面</p></li>
|
||
<li><p>3 个节点中的任何 2 个可以处理完整工作负载（N+1 冗余）</p></li>
|
||
<li><p>可以丢失 1 个控制/计算节点而不会中断服务</p></li>
|
||
<li><p>通过 DNS 轮询或浮动 VIP（Keepalived）进行负载均衡</p></li>
|
||
</ul></li>
|
||
<li><p><strong>网络：</strong> 华为 VLT/CSS 交换机，双归属服务器（2x25GbE 绑定）</p></li>
|
||
<li><p><strong>电源：</strong> 每个服务器双 PSU，冗余 PDU（A+B 供电）</p></li>
|
||
</ul>
|
||
<p><strong>扩展路径（如果未来需求增加）：</strong></p>
|
||
<ul>
|
||
<li><p>第 1 年：13 个存储 + 3 个控制/计算 + 1 个导入 = 2.29 PB 可用（覆盖所有 110 亿个二维码）</p></li>
|
||
<li><p>未来扩展：机架中 7U 可用 = 最多 3 个更多 2U 存储节点</p></li>
|
||
<li><p>16 个存储节点：2.82 PB 可用（容量增加 23%）</p></li>
|
||
<li><p>超过 16 个节点：需要第二个机架或更高容量的驱动器</p></li>
|
||
</ul>
|
||
<h2 id="性能验证基于-hdd单机架">6. 性能验证（基于 HDD，单机架）</h2>
|
||
<p><strong>目标指标（13 个存储节点）：</strong></p>
|
||
<ul>
|
||
<li><p>写入吞吐量：持续 6,960 个二维码/秒（1.39 GB/s）</p>
|
||
<ul>
|
||
<li><p>3 倍复制：4.17 GB/s 网络写入流量</p></li>
|
||
<li><p>HDD 能力：19.5 GB/s 聚合写入（13 个节点 × 1.5 GB/s）✓ <strong>优秀</strong></p></li>
|
||
</ul></li>
|
||
<li><p>峰值突发：21,000 个二维码/秒（4.2 GB/s）</p>
|
||
<ul>
|
||
<li><p>3 倍复制：12.6 GB/s 网络写入流量</p></li>
|
||
<li><p>HDD 能力：19.5 GB/s 聚合写入（峰值）✓ <strong>优秀</strong>（55% 余量）</p></li>
|
||
</ul></li>
|
||
<li><p>读取延迟：< 50ms P99（带缓存）✓</p>
|
||
<ul>
|
||
<li>HDD 寻道：4-8ms，顺序：快速</li>
|
||
</ul></li>
|
||
<li><p>存储 IOPS：125 万聚合（每节点 96K × 13，每驱动器 4K）</p>
|
||
<ul>
|
||
<li><p>足以满足大型顺序二维码写入（每个 50-200 KB）</p></li>
|
||
<li><p>二维码是大块数据，不是小随机 I/O</p></li>
|
||
</ul></li>
|
||
<li><p>网络吞吐量：650 Gbps 聚合（每节点 50 Gbps × 13）</p></li>
|
||
<li><p>网络利用率：持续写入期间 < 8%，峰值突发期间 < 24%</p></li>
|
||
<li><p>存储容量：2.29 PB 可用（3 倍复制为 6.86 PB 原始）</p>
|
||
<ul>
|
||
<li><p><strong>覆盖所有 110 亿个二维码，最大 200KB 大小</strong></p></li>
|
||
<li><p>比 2.2 PB 最大需求高 4% 的缓冲区</p></li>
|
||
</ul></li>
|
||
<li><p>驱动器故障恢复：分布在所有健康节点上</p></li>
|
||
<li><p>冗余：可容忍最多 10 个存储节点故障（77% 冗余）</p></li>
|
||
</ul>
|
||
<p><strong>HDD 性能特征：</strong></p>
|
||
<ul>
|
||
<li><p>顺序吞吐量：优秀（每驱动器 150-250 MB/s）</p></li>
|
||
<li><p>随机 IOPS：低于 NVMe（4K IOPS vs 100K+ IOPS）</p></li>
|
||
<li><p>二维码工作负载：主要是顺序大块写入（50-200 KB）</p></li>
|
||
<li><p><strong>结论：</strong> HDD 非常适合此工作负载（大顺序 I/O）</p></li>
|
||
</ul>
|
||
<h2 id="推荐配置摘要13-个存储节点完整容量">7. 推荐配置摘要（13 个存储节点，完整容量）</h2>
|
||
<p><strong>配置：13 个存储 + 3 个控制/计算 + 1 个导入（JBOD + 3 副本，单机架）</strong></p>
|
||
<table>
|
||
<thead>
|
||
<tr class="header">
|
||
<th>指标</th>
|
||
<th>规格</th>
|
||
</tr>
|
||
</thead>
|
||
<tbody>
|
||
<tr class="odd">
|
||
<td><strong>存储服务器</strong></td>
|
||
<td>13x 联想 ThinkSystem SR650 V2（每个 2U）</td>
|
||
</tr>
|
||
<tr class="even">
|
||
<td><strong>控制/计算</strong></td>
|
||
<td>3x 联想 ThinkSystem SR630 V2（每个 1U）</td>
|
||
</tr>
|
||
<tr class="odd">
|
||
<td><strong>导入节点</strong></td>
|
||
<td>1x 联想 ThinkSystem SR650 V2（2U）</td>
|
||
</tr>
|
||
<tr class="even">
|
||
<td><strong>交换机</strong></td>
|
||
<td>2x 华为 CE6800（25GbE）</td>
|
||
</tr>
|
||
<tr class="odd">
|
||
<td><strong>每个存储节点的驱动器</strong></td>
|
||
<td>24x 22TB SAS（12Gbps，7.2K RPM）</td>
|
||
</tr>
|
||
<tr class="even">
|
||
<td><strong>可用容量</strong></td>
|
||
<td><strong>2.29 PB</strong>（覆盖所有 110 亿个二维码，最大 200KB）</td>
|
||
</tr>
|
||
<tr class="odd">
|
||
<td><strong>原始容量</strong></td>
|
||
<td>6.86 PB（3 倍复制）</td>
|
||
</tr>
|
||
<tr class="even">
|
||
<td><strong>机架空间</strong></td>
|
||
<td>42U 中的 35U（7U 扩展可用）</td>
|
||
</tr>
|
||
<tr class="odd">
|
||
<td><strong>聚合 IOPS</strong></td>
|
||
<td>125 万（每个存储节点 96K）</td>
|
||
</tr>
|
||
<tr class="even">
|
||
<td><strong>聚合吞吐量</strong></td>
|
||
<td>39 GB/s 读取，19.5 GB/s 写入</td>
|
||
</tr>
|
||
<tr class="odd">
|
||
<td><strong>电源</strong></td>
|
||
<td>12.7 kW（9.8 kW 实际，30% 余量）</td>
|
||
</tr>
|
||
<tr class="even">
|
||
<td><strong>资本支出（中国，联想+华为）</strong></td>
|
||
<td>¥1,973,000（约 $274K USD）</td>
|
||
</tr>
|
||
<tr class="odd">
|
||
<td><strong>存储冗余</strong></td>
|
||
<td>可丢失 10 个存储节点（77% 冗余）</td>
|
||
</tr>
|
||
<tr class="even">
|
||
<td><strong>计算冗余</strong></td>
|
||
<td>N+1（3 个节点中的任何 2 个）</td>
|
||
</tr>
|
||
<tr class="odd">
|
||
<td><strong>导入速度</strong></td>
|
||
<td>10-32 GB/s（物理介质）</td>
|
||
</tr>
|
||
<tr class="even">
|
||
<td><strong>驱动器可靠性</strong></td>
|
||
<td>SAS 企业级</td>
|
||
</tr>
|
||
<tr class="odd">
|
||
<td><strong>扩展</strong></td>
|
||
<td>7U 可用 = 最多 3 个更多存储节点</td>
|
||
</tr>
|
||
</tbody>
|
||
</table>
|
||
<p><strong>关键特性：</strong></p>
|
||
<ul>
|
||
<li><p>✅ <strong>完整容量：</strong> 2.29 PB 覆盖所有 110 亿个二维码，最大 200KB 大小</p></li>
|
||
<li><p>✅ <strong>高冗余：</strong> 可容忍 10 个同时存储节点故障</p></li>
|
||
<li><p>✅ <strong>单机架：</strong> 所有设备在一个 42U 机架中（使用 35U）</p></li>
|
||
<li><p>✅ <strong>国产品牌：</strong> 比戴尔便宜 20%，优秀的本地支持</p></li>
|
||
<li><p>✅ <strong>物理导入：</strong> 通过 USB/NVMe/SATA/SAS 热插拔 10-32 GB/s</p></li>
|
||
<li><p>✅ <strong>行业标准：</strong> JBOD + 3 副本架构</p></li>
|
||
</ul>
|
||
<h2 id="中国私有数据中心成本估算人民币">10. 中国私有数据中心成本估算（人民币）</h2>
|
||
<p><strong>汇率：1 USD = 7.2 CNY（近似，2026 年 1 月）</strong></p>
|
||
<p><strong>中国摘要（13 个存储节点，完整容量，IT 机房）：</strong></p>
|
||
<ul>
|
||
<li><p><strong>推荐：</strong> 联想 ThinkSystem + 华为 CE6800</p></li>
|
||
<li><p><strong>资本支出：</strong> ¥1,973,000（约 $274K USD，基于公开定价）</p></li>
|
||
<li><p><strong>容量：</strong> 2.29 PB 可用（覆盖所有 110 亿个二维码，最大 200KB 大小）</p></li>
|
||
<li><p><strong>电源需求：</strong> 总计 12.7 kW（9.8 kW 实际 + 30% 余量）</p></li>
|
||
<li><p><strong>导入节点优势：</strong> 10-32 GB/s 物理介质导入（USB/NVMe/SATA/SAS）</p>
|
||
<ul>
|
||
<li><p>消除互联网/WiFi 瓶颈</p></li>
|
||
<li><p>前面板热插拔便于操作员使用</p></li>
|
||
<li><p>31TB 暂存缓冲区用于离线处理</p></li>
|
||
</ul></li>
|
||
</ul>
|
||
<h3 id="中国定价---联想-thinksystem-华为配置">中国定价 - 联想 ThinkSystem + 华为配置</h3>
|
||
<p><strong>硬件（联想 + 华为 - 13 个存储节点，2.29 PB）：</strong></p>
|
||
<ul>
|
||
<li><p>存储节点（13x 联想 ThinkSystem SR650 V2，24x 22TB SAS）：¥1,235,000</p>
|
||
<ul>
|
||
<li><p>基础服务器：每节点约 ¥35,000</p></li>
|
||
<li><p>24x 22TB SAS 驱动器 @ 每个 ¥3,000：每节点 ¥72,000</p></li>
|
||
<li><p>CPU、RAM、HBA 升级：每节点约 ¥23,000</p></li>
|
||
<li><p>每节点总计：¥95,000</p></li>
|
||
<li><p>公开定价参考：联想中国网站</p></li>
|
||
</ul></li>
|
||
<li><p>控制/计算节点（3x 联想 ThinkSystem SR630 V2）：¥306,000</p>
|
||
<ul>
|
||
<li><p>每个节点：¥102,000（约 $14,200）</p></li>
|
||
<li><p>多用途：摄取 + API + 负载均衡 + 控制</p></li>
|
||
</ul></li>
|
||
<li><p>导入节点（1x 联想 ThinkSystem SR650 V2，带热插拔）：¥140,000</p>
|
||
<ul>
|
||
<li>前面板 USB-C、NVMe U.2、SATA/SAS 热插拔</li>
|
||
</ul></li>
|
||
<li><p>网络交换机（2x 华为 CloudEngine 6800-48S-EI）：¥180,000</p>
|
||
<ul>
|
||
<li>公开定价：每台交换机 ¥90,000</li>
|
||
</ul></li>
|
||
<li><p>PDU、线缆、杂项：¥64,000</p></li>
|
||
<li><p><strong>硬件小计（联想 + 华为）：¥1,925,000</strong></p></li>
|
||
</ul>
|
||
<p><strong>基础设施（如果 IT 机房不存在）：</strong></p>
|
||
<ul>
|
||
<li><p>机架（42U，国产）：¥8,000</p></li>
|
||
<li><p>冷却（1x 20kW 行内，如果 IT 机房 HVAC 不足）：¥40,000</p></li>
|
||
<li><p><strong>基础设施小计：¥48,000</strong></p></li>
|
||
<li><p><strong>注意：</strong> 可能在现有 IT 机房中部分/完全可用（相应减少资本支出）</p></li>
|
||
</ul>
|
||
<p><strong>总资本支出（13 个存储节点，完整 2.29 PB）：</strong></p>
|
||
<ul>
|
||
<li><p><strong>联想 + 华为：¥1,973,000</strong>（约 $274K USD，推荐）</p></li>
|
||
<li><p><strong>注意：</strong> 不包括 UPS（超出项目范围）。价格基于联想中国公开定价和华为企业报价。</p></li>
|
||
</ul>
|
||
<p><strong>电源需求（13 个存储节点）：</strong></p>
|
||
<ul>
|
||
<li><p><strong>总功率：</strong> 12.7 kW</p>
|
||
<ul>
|
||
<li><p>13x 存储节点 @ 每个 400W = 5.2 kW</p></li>
|
||
<li><p>3x 控制/计算节点 @ 每个 500W = 1.5 kW</p></li>
|
||
<li><p>1x 导入节点 @ 600W = 0.6 kW</p></li>
|
||
<li><p>2x 交换机 @ 每个 400W = 0.8 kW</p></li>
|
||
<li><p>开销和余量 = 4.6 kW</p></li>
|
||
</ul></li>
|
||
<li><p><strong>冷却需求：</strong> 16.5 kW 热（12.7 kW × 1.3 PUE）</p></li>
|
||
<li><p><strong>电路需求：</strong> 最少 2x 32A 三相 208V 电路</p></li>
|
||
</ul>
|
||
<h3 id="中国-hdd-采购">中国 HDD 采购</h3>
|
||
<p><strong>推荐：本地组装的企业级驱动器</strong></p>
|
||
<ul>
|
||
<li><p>Seagate Exos X22 22TB（苏州工厂）：每个驱动器 ¥2,800-3,200</p></li>
|
||
<li><p>Western Digital Ultrastar DC HC570 22TB（上海/深圳）：每个驱动器 ¥2,900-3,300</p></li>
|
||
<li><p>本地组装 = 无进口增值税（节省 13%）</p></li>
|
||
<li><p>提供增值税发票用于税务抵扣</p></li>
|
||
<li><p>与国际版本相同的保修</p></li>
|
||
<li><p>更快的更换（本地库存）</p></li>
|
||
</ul>
|
||
<h3 id="快速参考中国定价摘要13-个存储节点2.29-pb">快速参考：中国定价摘要（13 个存储节点，2.29 PB）</h3>
|
||
<table>
|
||
<thead>
|
||
<tr class="header">
|
||
<th>项目</th>
|
||
<th>价值</th>
|
||
</tr>
|
||
</thead>
|
||
<tbody>
|
||
<tr class="odd">
|
||
<td><strong>资本支出</strong></td>
|
||
<td>¥1,973,000（约 $274K USD）</td>
|
||
</tr>
|
||
<tr class="even">
|
||
<td><strong>容量</strong></td>
|
||
<td>2.29 PB 可用</td>
|
||
</tr>
|
||
<tr class="odd">
|
||
<td><strong>电源</strong></td>
|
||
<td>总计 12.7 kW</td>
|
||
</tr>
|
||
<tr class="even">
|
||
<td><strong>机架空间</strong></td>
|
||
<td>42U 中的 35U</td>
|
||
</tr>
|
||
</tbody>
|
||
</table>
|
||
<p><strong>联想 ThinkSystem SR650 V2 + SR630 V2 + 华为 CE6800</strong></p>
|
||
<ul>
|
||
<li><p>覆盖所有 110 亿个二维码，最大 200KB 大小</p></li>
|
||
<li><p>导入节点：10-32 GB/s 物理介质导入（无网络瓶颈）</p></li>
|
||
<li><p>不包括 UPS（超出项目范围）</p></li>
|
||
</ul>
|
||
<p><strong>中国部署建议（IT 机房，13 个存储节点）：</strong> 1. <strong>使用联想 ThinkSystem + 华为</strong> - 公开定价可用，比戴尔节省 20% 2. <strong>IT 机房需求（13 个存储节点，完整 2.29 PB）：</strong> - 电源：需要 12.7 kW 容量（208V 三相，30A × 2 PDU） - 冷却：43,400 BTU/hr 散热（~3.6 吨，12.7 kW × 3,412 BTU/kW） - 地板承重：~1,100 kg 总重量（17 台服务器 + 交换机 + 机架） - 导入节点的操作员访问（前面板热插拔） - 机架空间：使用 42U 中的 35U（7U 用于未来扩展） 3. <strong>本地支持合同</strong> 必不可少（联想 + 华为在中国有优秀的支持，4 小时响应） 5. <strong>批量采购折扣</strong> - 大订单协商 10-15% 折扣 6. <strong>付款条件：</strong> Net 30-90 常见，一些供应商提供 6-12 个月融资 7. <strong>增值税发票（增值税发票）：</strong> 税务抵扣必不可少，确保所有供应商提供 8. <strong>国产驱动器：</strong> 从中国工厂购买 Seagate/WD 以避免进口增值税 9. <strong>网络集成：</strong> 规划到现有企业网络的上行链路</p>
|
||
<p><strong>供应商联系（中国）：</strong></p>
|
||
<ul>
|
||
<li><p>联想：DCG（数据中心集团）- https://www.lenovo.com/cn/zh/data-center（联想数据中心）</p>
|
||
<ul>
|
||
<li><p>ThinkSystem 服务器在网站上有公开定价</p></li>
|
||
<li><p>联系：400-100-6000（中国热线）</p></li>
|
||
</ul></li>
|
||
<li><p>华为：企业网络部门 - https://e.huawei.com（华为企业）</p>
|
||
<ul>
|
||
<li><p>CloudEngine 交换机需要企业报价</p></li>
|
||
<li><p>联系本地华为客户经理</p></li>
|
||
</ul></li>
|
||
<li><p>本地集成商：通常比直接购买便宜 5-10%（例如，神州数码 Digital China）</p></li>
|
||
</ul>
|
||
<h2 id="最终建议">11. 最终建议</h2>
|
||
<p><strong>推荐配置：联想 ThinkSystem + 华为在二线城市</strong></p>
|
||
<p><strong>硬件（13 个存储节点，完整 2.29 PB 容量）：</strong></p>
|
||
<ul>
|
||
<li><p><strong>13x 联想 ThinkSystem SR650 V2</strong> 存储节点（每个 24x 22TB SAS）= <strong>2.29 PB 可用</strong></p></li>
|
||
<li><p><strong>3x 联想 ThinkSystem SR630 V2</strong> 控制/计算节点（多用途）</p></li>
|
||
<li><p><strong>1x 联想 ThinkSystem SR650 V2</strong> 导入节点（前面板热插拔）</p></li>
|
||
<li><p><strong>2x 华为 CloudEngine 6800-48S-EI</strong> 交换机（48 端口 25GbE）</p></li>
|
||
</ul>
|
||
<p><strong>容量：</strong> 2.29 PB 可用 - 覆盖所有 110 亿个二维码，最大 200KB 大小</p>
|
||
<p><strong>成本：</strong></p>
|
||
<ul>
|
||
<li><p><strong>资本支出：</strong> ¥1,973,000（约 $274K USD）</p></li>
|
||
<li><p><strong>注意：</strong> 不包括 UPS（超出项目范围）。基于联想中国和华为公开定价。</p></li>
|
||
</ul>
|
||
<p><strong>电源需求：</strong></p>
|
||
<ul>
|
||
<li><p><strong>总计：</strong> 12.7 kW（9.8 kW 实际 + 30% 余量）</p></li>
|
||
<li><p><strong>冷却：</strong> 43,400 BTU/hr（~3.6 吨）</p></li>
|
||
</ul>
|
||
</body>
|
||
</html>
|