企业级分布式存储EDS与Intel合作,确定性能和低成本不需要“二者兼得”
浏览:53 时间:2024-3-14

在存储的世界中,“高性能”和“低成本”似乎是“鱼和熊掌不能同时拥有”的命题。现在,说服EDS联合英特尔SPDK不能同时拥有两者的时代将结束。(威廉莎士比亚,温斯顿)

企业级分布式存储EDS,英特尔在中国的SPDK合作伙伴之一,使用英特尔SPDK作为编程框架,设计了实现“高性能、低成本”理想的新存储引擎。

在此次合作中,EDS通过基于SPDK开发工具包设计的存储引擎,构建了高性能、低成本的存储体系结构,从而充分发挥英特尔硬件的性能。这意味着EDS研发团队在软件定义存储领域具有深厚的积累和软件开发能力,并期望将来能够合作为用户的数字转换构建存储基石。

——英特尔数据中心组

正业事业部中国区总经理李亚东。

确信EDS英特尔SPDK,提交“高性能、低成本”成绩单

EDS深度融合英特尔SPDK通过最优化和增强软件功能充分利用硬件优势,激发硬件潜力,最终实现全面提升和成本节约的双向加速。

1.硬件潜力刺激,标准3节点高达100万IOPS

每个物理内核填满后,可以提供更高的IOPS,EDS可以在三节点标准配置中实现百万级IOPS,与传统的存储整体闪存相比,可以显着提高性能。

同等性能目标,建筑成本大大降低。

EDS通过基于SPDK框架的技术创新,提高了NVMe和RDMA协议的协作效率,允许在同一进程中执行诸如从内存到SSD、RDMA内存复制等操作,从而轻松克服节点间IO的系统性能瓶颈,并可以使用RDMA进一步减少CPU资源消耗。因此,总体而言,EDS可以通过更少的存储节点满足同等的性能需求,而无需更改体系结构,从而大大降低了部署成本。

(以上数据来自对EDS研发团队测试结果的确信。)

以高清晰度视频领域为例,EDS深度融合英特尔SPDK解决方案可以在4K非线性剪辑场景中支持每个节点3个4K工作站,比特率为500mb/s,6层编辑。

为什么是英特尔spdk框架?

随着工程改进的降低成本和功耗,固态硬盘(SSD)近年来作为存储介质蓬勃发展。但是,一般用途的NVMe协议在处理每个IO时,必须经常在用户状态和内核状态之间“中断”地交换数据,整个过程将经历多个CPU上下文切换和内存数据副本。此处理方法过时、效率低下,并且无法充分发挥SSD硬件性能,从而导致存储资源浪费。

为了更好地发挥SSD的性能,英特尔开发了高性能存储系列——SPDK,利用硬件平台的网络、计算处理能力和存储技术,充分利用固态存储介质的卓越效率。SPDK提供了一组设计如下的工具和库:

I/o处理在“用户空间”中均匀进行,无需多个系统级调用,允许内存零复制访问,从而减少了协议开销和访问延迟。

新的异步编程模型可充分利用NVMe队列宽度和深度优势,以最大限度地发挥SSD潜力并提高性能。

EDS的创新和突破

我确信,为了构建基于英特尔spdk框架的新PhxStore存储引擎,我们投入了大量研发资源,并执行了以下技术创新:

以低CPU消耗实现高性能

EDS存储引擎PhxStore通过大量软件优化提高了存储资源使用性能,经过测试,仅使用CPU的一个核心就可以发挥多个SAS介面SSD的整体性能,从而显着减少了CPU上的存储消耗并提高了性能。

零成本增加,缩短延迟时间

EDS存储引擎PhxStore开发了一个完全包容RDMA网络的新网络通信模块和分布式一致性协议。经过测试,在不更改用户现有网络体系结构的情况下在主机之间传输4K数据时,延迟明显减少。

功能更强大、成本更低的EDS将在未来的高清视频、大容量资料分析、在线交易系统、业务数据库等领域为用户提供高级存储体验。