1. 概述

本文介绍VDI散布式存储产品当选取的缓存加快的日志数据布局技术，该技术相比当前市面上主流的开源散布式存储产品，好比Ceph，可能带来2倍以上的有效容量和2倍以上的机能提升。

2. VDI场景数据读写个性

VDI活动，一天或许蕴含如下几个阶段：

• Boot Storm：起机风暴，必要提供分钟级的起机支持，不能影响在运行的虚构机，1000台桌面会产生超过100K的IOPS。起机风暴的IO情况，又分成如下两种：

• 齐全克。51%的48KB和64KB挨次读，17%挨次和随机参半的32KB读，最后是17%的4KB的随机读IO。齐全的克隆压力同时体此刻高带宽，依照xstream io的测试，4000个桌面10分钟起机实现，IOPS 250K，峰值BW在9GB/s。
• 链接克。河肫肴寺∠啾，其bw幼了，IOPS更高了，重要是由于在链接克隆下的起机，幼IO（512B/4KB）更多。和齐全克隆同样的测试环境，IOPS 310K，峰值BW 4.4GB/s，但IO根基上都为512和4K随机读写IO。

• Login Storm：登录风暴，读写参半。
• Virus Scanning：病毒扫描，重要是读。
• Patching & Recomposing：补丁，沉写，重要是写。
• Steady State。通例的工作阶段，90%的IOPS是4KB、8KB的随机写IO。
• 补丁阶段随机读写参半。

其中，启机/登陆风暴的技术见《VDI启机风暴技术白皮书》，病毒扫描有关技术见《Cache加快技术白皮书》。这里描述用户Steady State阶段的数据读写问题。

由上面的统计数据可知，Steady State阶段重要是4KB、8KB的随机写IO。随机写IO在纠删码配置下有RAID写惩治（参考下一节描述），机能往往满足不了业务需要。故VDI场景，传统上存储通常配置为副本，用更低的得盘率来获得机能上肯定的提升。

3. 浅谈RAID写惩治与IOPS推算
   1. RAID写惩治

存储规划规划的过程中，根基的思考成分有两个，机能和容量。推算后端物理磁盘的IOPS不能单一的把物理磁盘的最大IOPS相加。原因是对于分歧的RAID级别，为了保障当物理磁盘败坏的情况下能够复原数据，数据写入的过程中都必要进行一些出格的推算。

好比对于RAID-5，条带上的肆意磁盘上的数据扭转，城市沉新推算校验位。下图，一个7+1的RAID-5的条带中，7个磁盘存储数据，最后一个磁盘存储校验位。

对于一个数据的写入，我们如果在第5个磁盘上写入数据1111，如下图所示。

那么整个RAID-5必要实现写入的过程分为如下几步：

1. 读取原数据0110，而后与新的数据1111做XOR操作：0110 XOR 1111 = 1001
2. 读取原有的校验位数据0010
3. 用步骤1推算出的数值与原校验位再做一次XOR操作：0010 XOR 1001 = 1011
4. 将新数据1111写入到数据磁盘，将新的校验值1011写入校验盘

由上述几个步骤可见，对于任何一次写入，在存储端，必要别离进行2次读取和2次写入，所以说RAID-5的写惩治值是4。

分歧RAID级此外写惩治，如下表所示：

1. 2. IOPS推算

凭据上文的描述，在现实存储规划设计的过程中，推算现实可用IOPS的过程中必须纳入RAID的写惩；。推算公式如下：

1. 物理磁盘总IOPS = 物理磁盘的IOPS * 磁盘数量
2. 可用的IOPS = （物理磁盘总IOPS * 写百分比 / RAID写惩治）+（物理磁盘总IOPS * 读百分比）

如果组成RAID-5的物理磁盘总IOPS为1000，使用该存储的利用法式读写比例是10% / 90%，那么对于前端主机而言，现实可用的IOPS为：

（1000 * 90% / 4）+（1000 * 10%）= 325

故，在VDI场景Steady State阶段，RAID或者纠删码配置下，现实业务可用的IOPS极度低，往往满足不了业务需要。

4. 缓存加快的日志数据布局技术
   1. 数据写入概述

VDI散布式存储选取缓存加快的日志数据布局技术，加快虚构桌面用户的数据读写机能。具体步骤如下：

1. 桌面操作系统，数据写入存储
2. 首先数据在本地节点的内存保留一份，同时凭据系统靠得住性配置，用户数据写入1个或者2个镜像节点的SSD上，SSD选取FIFO的大局挨次保留这些Journal
3. 数据镜像实现之后，返回操作系统数据写入成功
4. 本地节点数据聚合条带，推算纠删码之后，挨次写入后端磁盘
5. 同时，凭据智能缓存算法，热点数据保留到SSD Cache上，供操作系统后续读取接见
6. 数据落盘之后，镜像节点的FIFO Journal通过尾部指针地址偏移，开释Journal空间
   2. 日志数据布局技术

VDI散布式存储的日志数据布局选取ROW方式，不论是追加写还是改写现罕见据，都沉新分配一个陆续的地址空间写入。这样，无论用户的业务模型若何，所有的写数据对于后端磁盘来说都是挨次的，预防了传统RAID写流程所需的写惩治。并且所有的数据都能够均匀的散布到分歧的后端磁盘上，能够有效利用后端磁盘的总带宽和总IOPS。

如下图所示，LUN1写入A、B、C、D四个数据，LUN2写入A、B两个数据，存储系统将LUN1、LUN2的数据归并成一个条带，并推算出2个校验值之后，将数据写入后端磁盘。

当批改数据产生时，如下图所示。LUN1将数据B订正成b，LUN2写入C、D、E，LUN3写入数据A、B。系统会将这些数据聚合成条带，推算校验值之后，写入后端磁盘，而后象征数据（1 B）为垃圾数据。

但是，当系统经过长功夫的批改和写入后，会产生大量的垃圾数据，从而导致无法找到条带用于新的数据写入。日志数据布局技术，通过全局垃圾回收来沉新整顿空间，从而做到在职何容量利用率的情况下，都能够找到新条带用来数据写入。

若是条带上的数据都为垃圾数据，则直接回收该条带。

若是条带上仅有部门脏数据，则将这些条带上的有效数据拷贝到新的条带之后，回收这些条带。

1. 3. 技术优势

该技术有如下利益：

• SSD上Journal和Cache的数据写入都是挨次的，削减了SSD的擦写次数，能够将SSD寿命提高1个数量级。
• 将随机写IO聚合成挨次写IO，预防了RAID算法的写惩治，提升磁盘IOPS。以4KB的随机IO，128KB条带深度大幼为例，每个磁盘能够提供32（128 / 4）倍IOPS。
• 智能缓存预期算法，VDI数据读取操作尽量SSD射中，加快VDI数据读取机能，同时削减对后端磁盘的IOPS压力。以Cache射中率80%为例，后端磁盘仅必要提供20%的读IO即可满足业务需要。

5. 规划对比

思考如下需要：每个VDI节点50个VDI桌面，每个桌面100 IOPS，共必要存储提供5000 IOPS，其中写IO占90%。如果每个磁盘的吞吐为200MB/s，且可能提供200 IOPS。同时，我们如果读缓存射中率为80%，如果SSD缓存机能足够满足该场景需要，同时如果VDI有效工作功夫为每天8幼时。比力传统3副本、缓存加快日志数据布局技术8D2P EC和3副本下的有效容量和每磁盘能满足的业务IOPS需要。

1. 1. 传统3副本

在该场景下，读操作首先判断Cache是否射中，不然从后端磁盘读。写操作首先3副本写到对应的SSD上，后盾异步将这些IO刷到对应的磁盘。

VDI节点必要后端磁盘提供的读IOPS为：总IOPS需要 * 读IO比例 * 缓存不射中率。

5000 IOPS * 10% * 20% = 100 IOPS

3副本的写惩治为3，在VDI节点一成天开机的情况下，必要的写IOPS为：总IOPS * 写IO比例 * 写惩治 * 每周工作功夫 / 每周开机功夫。

5000 IOPS * 90% * 3 * （8 * 5） / （24 * 7） =  3214 IOPS

该场景下，共必要（3214 + 100）/ 200 ，约16个磁盘。均匀每个磁盘可能满足该场景312（5000 / 16）业务IOPS需要。

1. 2. 缓存加快日志数据布局8D2P

VDI节点必要后端提供的读IOPS和3副本类型的一样，为100 IOPS。

8D2P配置下，写惩治系数为1.25，如果均匀每个IO 8KB。同时，VDI产品中配置的条带深度为128KB。则必要的写IOPS为：总IOPS * 写IO比例 * 写惩治 * 均匀每个IO大幼 / 条带深度。

5000IOPS * 90% * 1.25 * 8KB / 128KB = 351 IOPS

该场景下，共必要（100 + 351）/ 200 ，约3个磁盘。均匀每个磁盘满足该场景1667 (5000 / 3)业务IOPS需要。

1. 3. 缓存加快日志数据布局3副本

读IOPS同样为100。

写IOPS需要为：5000 IOPS * 90% * 3 * 8KB / 128KB = 844 IOPS

该场景下，共必要（100 + 844）/ 200 ，约5个磁盘。均匀每个磁盘满足1000业务IOPS需要。

1. 4. 规划总结

下表比力该场景下，3副本和8D2P有效容量、每个硬盘提供的有效容量和机能。

缓存加快日志数据布局下，纠删码和副本有类似的数据靠得住性，建议以纠删码配置为主。

1. 5. 规划价值

存储规划规划中，根基的思考成分有两个：机能和容量。在VDI场景中，缓存加快日志数据布局，相比传统存储具备如下优势：

1. 支持在出产系统上使用纠删码，使用纠删码相比Ceph等以副本为重要数据靠得住性保障的规划来说，同时具备2倍以上的有效容量和2倍以上的机能提升。
2. 即便同样也选取副本，缓存加快日志数据布局规划，也会获得2倍以上的机能提升。

有关推荐：

• RCO5.2—VDI终端双网切换技术白皮书
• IDV的那些专长之“总散布署”
• iSlot官方网站云桌面IDV终端急剧开机技术白皮书
• 英特尔：IDV何以如此神通宽大