1. 概述

本文介绍VDI散布式存储产品当选取的缓存加快的日志数据布局技术，该技术相比当前市面上主流的开源散布式存储产品，好比Ceph，可能带来2倍以上的有效容量和2倍以上的机能提升。

2. VDI场景数据读写个性

VDI活动，一天或许蕴含如下几个阶段：

• Boot Storm：起机风暴，必要提供分钟级的起机支持，不能影响在运行的虚构机，1000台桌面会产生超过100K的IOPS。起机风暴的IO情况，又分成如下两种：

• 齐全克。51%的48KB和64KB挨次读，17%挨次和随机参半的32KB读，最后是17%的4KB的随机读IO。齐全的克隆压力同时体此刻高带宽，依照xstream io的测试，4000个桌面10分钟起机实现，IOPS 250K，峰值BW在9GB/s。
• 链接克。河肫肴寺∠啾，其bw幼了，IOPS更高了，重要是由于在链接克隆下的起机，幼IO（512B/4KB）更多。和齐全克隆同样的测试环境，IOPS 310K，峰值BW 4.4GB/s，但IO根基上都为512和4K随机读写IO。

• Login Storm：登录风暴，读写参半。
• Virus Scanning：病毒扫描，重要是读。
• Patching & Recomposing：补丁，沉写，重要是写。
• Steady State。通例的工作阶段，90%的IOPS是4KB、8KB的随机写IO。
• 补丁阶段随机读写参半。

其中，启机/登陆风暴的技术见《VDI启机风暴技术白皮书》，病毒扫描有关技术见《Cache加快技术白皮书》。这里描述用户Steady State阶段的数据读写问题。

由上面的统计数据可知，Steady State阶段重要是4KB、8KB的随机写IO。随机写IO在纠删码配置下有RAID写惩治（参考下一节描述），机能往往满足不了业务需要。故VDI场景，传统上存储通常配置为副本，用更低的得盘率来获得机能上肯定的提升。

3. 浅谈RAID写惩治与IOPS推算
   1. RAID写惩治

存储规划规划的过程中，根基的思考成分有两个，机能和容量。推算后端物理磁盘的IOPS不能单一的把物理磁盘的最大IOPS相加。原因是对于分歧的RAID级别，为了保障当物理磁盘败坏的情况下能够复原数据，数据写入的过程中都必要进行一些出格的推算。

好比对于RAID-5，条带上的肆意磁盘上的数据扭转，城市沉新推算校验位。下图，一个7+1的RAID-5的条带中，7个磁盘存储数据，最后一个磁盘存储校验位。

对于一个数据的写入，我们如果在第5个磁盘上写入数据1111，如下图所示。

那么整个RAID-5必要实现写入的过程分为如下几步：

1. 读取原数据0110，而后与新的数据1111做XOR操作：0110 XOR 1111 = 1001
2. 读取原有的校验位数据0010
3. 用步骤1推算出的数值与原校验位再做一次XOR操作：0010 XOR 1001 = 1011
4. 将新数据1111写入到数据磁盘，将新的校验值1011写入校验盘

由上述几个步骤可见，对于任何一次写入，在存储端，必要别离进行2次读取和2次写入，所以说RAID-5的写惩治值是4。

分歧RAID级此外写惩治，如下表所示：

1. 2. IOPS推算

凭据上文的描述，在现实存储规划设计的过程中，推算现实可用IOPS的过程中必须纳入RAID的写惩；。推算公式如下：

1. 物理磁盘总IOPS = 物理磁盘的IOPS * 磁盘数量
2. 可用的IOPS = （物理磁盘总IOPS * 写百分比 / RAID写惩治）+（物理磁盘总IOPS * 读百分比）

如果组成RAID-5的物理磁盘总IOPS为1000，使用该存储的利用法式读写比例是10% / 90%，那么对于前端主机而言，现实可用的IOPS为：

（1000 * 90% / 4）+（1000 * 10%）= 325

故，在VDI场景Steady State阶段，RAID或者纠删码配置下，现实业务可用的IOPS极度低，往往满足不了业务需要。

4. 缓存加快的日志数据布局技术
   1. 数据写入概述

VDI散布式存储选取缓存加快的日志数据布局技术，加快虚构桌面用户的数据读写机能。具体步骤如下：

1. 桌面操作系统，数据写入存储
2. 首先数据在本地节点的内存保留一份，同时凭据系统靠得住性配置，用户数据写入1个或者2个镜像节点的SSD上，SSD选取FIFO的大局挨次保留这些Journal
3. 数据镜像实现之后，返回操作系统数据写入成功
4. 本地节点数据聚合条带，推算纠删码之后，挨次写入后端磁盘
5. 同时，凭据智能缓存算法，热点数据保留到SSD Cache上，供操作系统后续读取接见
6. 数据落盘之后，镜像节点的FIFO Journal通过尾部指针地址偏移，开释Journal空间
   2. 日志数据布局技术

VDI散布式存储的日志数据布局选取ROW方式，不论是追加写还是改写现罕见据，都沉新分配一个陆续的地址空间写入。这样，无论用户的业务模型若何，所有的写数据对于后端磁盘来说都是挨次的，预防了传统RAID写流程所需的写惩治。并且所有的数据都能够均匀的散布到分歧的后端磁盘上，能够有效利用后端磁盘的总带宽和总IOPS。

如下图所示，LUN1写入A、B、C、D四个数据，LUN2写入A、B两个数据，存储系统将LUN1、LUN2的数据归并成一个条带，并推算出2个校验值之后，将数据写入后端磁盘。

当批改数据产生时，如下图所示。LUN1将数据B订正成b，LUN2写入C、D、E，LUN3写入数据A、B。系统会将这些数据聚合成条带，推算校验值之后，写入后端磁盘，而后象征数据（1 B）为垃圾数据。

但是，当系统经过长功夫的批改和写入后，会产生大量的垃圾数据，从而导致无法找到条带用于新的数据写入。日志数据布局技术，通过全局垃圾回收来沉新整顿空间，从而做到在职何容量利用率的情况下，都能够找到新条带用来数据写入。

若是条带上的数据都为垃圾数据，则直接回收该条带。

若是条带上仅有部门脏数据，则将这些条带上的有效数据拷贝到新的条带之后，回收这些条带。

1. 3. 技术优势

该技术有如下利益：

• SSD上Journal和Cache的数据写入都是挨次的，削减了SSD的擦写次数，能够将SSD寿命提高1个数量级。
• 将随机写IO聚合成挨次写IO，预防了RAID算法的写惩治，提升磁盘IOPS。以4KB的随机IO，128KB条带深度大幼为例，每个磁盘能够提供32（128 / 4）倍IOPS。
• 智能缓存预期算法，VDI数据读取操作尽量SSD射中，加快VDI数据读取机能，同时削减对后端磁盘的IOPS压力。以Cache射中率80%为例，后端磁盘仅必要提供20%的读IO即可满足业务需要。

5. 规划对比

思考如下需要：每个VDI节点50个VDI桌面，每个桌面100 IOPS，共必要存储提供5000 IOPS，其中写IO占90%。如果每个磁盘的吞吐为200MB/s，且可能提供200 IOPS。同时，我们如果读缓存射中率为80%，如果SSD缓存机能足够满足该场景需要，同时如果VDI有效工作功夫为每天8幼时。比力传统3副本、缓存加快日志数据布局技术8D2P EC和3副本下的有效容量和每磁盘能满足的业务IOPS需要。

1. 1. 传统3副本

在该场景下，读操作首先判断Cache是否射中，不然从后端磁盘读。写操作首先3副本写到对应的SSD上，后盾异步将这些IO刷到对应的磁盘。

VDI节点必要后端磁盘提供的读IOPS为：总IOPS需要 * 读IO比例 * 缓存不射中率。

5000 IOPS * 10% * 20% = 100 IOPS

3副本的写惩治为3，在VDI节点一成天开机的情况下，必要的写IOPS为：总IOPS * 写IO比例 * 写惩治 * 每周工作功夫 / 每周开机功夫。

5000 IOPS * 90% * 3 * （8 * 5） / （24 * 7） =  3214 IOPS

该场景下，共必要（3214 + 100）/ 200 ，约16个磁盘。均匀每个磁盘可能满足该场景312（5000 / 16）业务IOPS需要。

1. 2. 缓存加快日志数据布局8D2P

VDI节点必要后端提供的读IOPS和3副本类型的一样，为100 IOPS。

8D2P配置下，写惩治系数为1.25，如果均匀每个IO 8KB。同时，VDI产品中配置的条带深度为128KB。则必要的写IOPS为：总IOPS * 写IO比例 * 写惩治 * 均匀每个IO大幼 / 条带深度。

5000IOPS * 90% * 1.25 * 8KB / 128KB = 351 IOPS

该场景下，共必要（100 + 351）/ 200 ，约3个磁盘。均匀每个磁盘满足该场景1667 (5000 / 3)业务IOPS需要。

1. 3. 缓存加快日志数据布局3副本

读IOPS同样为100。

写IOPS需要为：5000 IOPS * 90% * 3 * 8KB / 128KB = 844 IOPS

该场景下，共必要（100 + 844）/ 200 ，约5个磁盘。均匀每个磁盘满足1000业务IOPS需要。

1. 4. 规划总结

下表比力该场景下，3副本和8D2P有效容量、每个硬盘提供的有效容量和机能。

缓存加快日志数据布局下，纠删码和副本有类似的数据靠得住性，建议以纠删码配置为主。

1. 5. 规划价值

存储规划规划中，根基的思考成分有两个：机能和容量。在VDI场景中，缓存加快日志数据布局，相比传统存储具备如下优势：

1. 支持在出产系统上使用纠删码，使用纠删码相比Ceph等以副本为重要数据靠得住性保障的规划来说，同时具备2倍以上的有效容量和2倍以上的机能提升。
2. 即便同样也选取副本，缓存加快日志数据布局规划，也会获得2倍以上的机能提升。

有关推荐：

• RCO5.2—VDI终端双网切换技术白皮书
• IDV的那些专长之“总散布署”
• iSlot官方网站云桌面IDV终端急剧开机技术白皮书
• 英特尔：IDV何以如此神通宽大