暴力测试DXN数据保护功能:数据不丢失、应用无感知

在介绍了联想凌拓ThinkSystem DXN系列的方案特质和安装部署环节后,E企研究院进入实际应用场景,实测DXN的诸多好用功能,本期,E企研究院将验证在硬盘、节点乃至交换机故障下,如何继续运行并保障数据不丢失。

一直以来,包括半结构化和非结构化数据的文件存储是NAS存储最主要的应用场景,这类文件存储需求遍布各个行业,在这之中,与普通消费者接触最多、触及面最广的应用非视频莫属,越来越多的人们将才艺、生活、娱乐以视频的方式呈现在各类短视频平台上。

尽管我们每个人掏出手机就能录制一段视频,但制作一段精良的视频并非易事。

一段时长1分钟的视频大小可能只在MB级别,但制作这段视频可能需要经过3D建模、特效合成与剪辑等阶段,其使用的源文件则可能需要数十GB乃至上百GB,制作过程则通常由多人团队分工协作而成。那么在视频制作中,你认为对制作效率影响最大的因素有哪些呢?

性能,很多人可能不约而同都会首先想到这一因素。诚然,不管是建模、合成还是剪辑环节,渲染、编码并导出要消耗大量的计算与存储性能。但在这个硬件技术飞速发展的时代,性能恰恰是最不需要你重点关注的因素,因为性能瓶颈通常是最容易突破的,尤其是分布式当道的今天。

暴力测试DXN数据保护功能:数据不丢失、应用无感知

以存储为例,导致存储性能不足通常有三个大的因素:硬盘、处理器或网络。硬盘性能不足可以替换为SSD,计算性能不足则可升级到更高的配置,10GbE不够可以升级到25GbE乃至100GbE。甚至你都无需更换节点配置,仅通过将更多节点加入到现有集群就能获得性能容量双提升,如果使用的是DXN这样的分布式存储的话,就大多数分布式存储场景而言,性能通常是充裕的。

故障导致的服务中断或系统停机才是影响业务正常运行的最大因素,也是最需要关注的因素,尤其是规模较大的集群中,硬件故障最为常见。不管是软件故障还是硬件损坏,其故障修复通常以小时计算,甚至长达数天。而软硬件故障对于存储系统而言,其最大的担忧就是数据丢失,如果没有良好的数据保护策略,数据丢失对企业而言直接意味着经济损失。

分布式存储大行其道并非没有原因,分布式架构的一大特点就是分布式控制器与多副本机制,哪怕其中一个或多个控制器故障,亦或是一个或多个节点故障,只要不超过限定的数量,其服务都可正常运行,不影响业务连续性。

所以在本次测试中,E企研究院设计的应用场景并不直接测试DXN2000的性能,而是更多地评估DXN2000在应用场景中的可用性,即在多重硬件故障情况下,DXN2000是否能够为前端应用提供正常的服务。这些硬件故障包括一块或多块硬盘故障、集群中一个或多个节点整体故障,以及通常容易被忽视的网络故障。

E企研究院基于视频后期制作应用场景构建了一个测试环境,其架构如下:

暴力测试DXN数据保护功能:数据不丢失、应用无感知

在此测试环境中,DXN2000集群由8个节点组成,提供近150TB的实际可用存储,在DXN2000提供的命名空间内构建一个名为DXN Project的共享目录,四台安装了不同应用软件的客户端均可读取DXN project这个共享目录中的所有文件,但不可写入(蓝色单向箭头表示只可读取)。

在DXN Project这个共享目录之下有四个子目录,均为共享目录,即PR group、AE group、C4D group和OBS group,这四个共享目录分别挂载到同名的客户端之上,每个客户端对所属共享目录具有完全的读写权限(绿色双向箭头)。简单来说就是,所有的客户端都可查看或复制DXN project这个共享目录下的所有文件,但客户端只对同名的共享文件夹具有完全的读写权限,即新建文件、修改或删除。

四台客户端上分别安装Adobe Premiere Pro 2020(简称PR,剪辑软件)、Adobe After Effects 2020(简称AE,特效合成软件)、Cinema 4D(简称C4D,3D建模软件)与OBS Studio(简称OBS,视频直播软件)。其中,C4D导出文件供AE使用,AE合成文件供PR使用,PR导出的视频则由OBS模拟进行视频直播。

从上述架构说明中可以看出,这是影视后期制作中一个非常典型的团队协作应用场景,不同角色的员工操作安装不同软件的电脑,访问不同权限的共享文件目录,不同分工,共同完成视频处理与制作。如果没有良好的数据保护策略,数据的损坏或丢失会影响到其中的一个或多个环节,而任一环节的停顿都会影响整个项目进度。

具体到应用而言,在PR、AE、C4D与OBS正常运行中,其对存储性能的稳定性提出了很高的要求,如果性能不稳定,会出现视频素材加载缓慢、卡顿乃至视频无法正常导出等现象,尤其是OBS视频直播应用中,存储性能不稳定,会导致视频直播画面卡顿甚至中断等严重事故。

在上述4个应用正常运行的同时,E企研究院还新增了一个共享目录,将其挂载到一台Linux客户端上,并运行VDbench这一软件,VDbench是一个文件存储测试软件,可以通过VDbench在共享目录中创建成千上万个自定义大小的文件,并进行读写性能测试。E企研究院通过VDbench软件对DXN2000下发存储压力,以更直观地评估DXN2000在硬件故障下的性能表现。

测试中的故障由人为产生,并层层递进,且不经任何系统操作,由人工直接对硬件实施:

  • 随机拔出一块HDD(HDD存储应用产生的数据)
  • 在测试1的基础上,拔出第二块硬盘
  • 在测试2的基础上,直接关闭所在节点
  • 在测试3的基础上,直接关闭另一个节点
  • 在测试4的基础上,直接拔掉交换机电源

在上述5种应用(PR、AE、C4D、OBS与VDbench)运行稳定后,执行上述操作。通过对应用客户端以及DXN2000管理界面的观察,表明,不管是一块或多块硬盘故障,还是一个或多个节点故障停机,亦或是直接拔掉交换机电源,DXN2000均能持续提供存储服务,从PR等应用软件的使用画面看,不管是视频渲染还是导出,均不受影响。尤其是OBS直播客户端,哪怕是进行到测试5环节,其6个视频直播窗口依然正常稳定运行,画面并没有出现丝毫卡顿。这些都表明DXN2000具有出色的可用性,即使在多重硬件故障情况下,其依然能够保证存储服务持续进行,并达到数据不丢失、应用不停顿且无感知。

E企研究院结论

E企研究院认为,作为联想凌拓自主研发的一款具备高性能、高可靠、高扩展能力、符合软件定义的的分布式存储系统, ThinkSystem DXN分布式存储系统能提供海量存储空间和大IO,持续IO的极致数据响应满足客户需求。

ThinkSystem DXN系列通过其分布式存储架构实现了满足企业用户所需的可用性,即使多重故障发生导致部分节点停机,依然能够稳定持续地提供存储服务,并保障足够的QoS(服务质量),确保生产数据不丢失,应用不停顿且无感知。

ThinkSystem DXN分布式存储系统软件定义、横向扩展、高可用、高性能的能力可满足广电、公安、金融、医疗、电信互联网、5G 8K等行业场景中的海量文件存储应用、云端数据管理需求,助力企业更加智能、安全、经济地存储和管理数据。

上一篇
下一篇