虚谷与锐钲携手,完善可计算型存储在数据库中的应用实践

近日,在成都虚谷伟业科技有限公司与锐钲(杭州)科技有限公司的共同努力下,完成了虚谷数据库管理系统V11.0和V12.0 在可计算型存储 "CSD3000 NVMe SSD" 上的兼容适配测试、以及在性能与容量TCO等收益上与普通NVMe SSD的对比测试工作。
虚谷数据库&锐钲可计算存储可相互兼容
测试数据展示
2.1 生产环境高频数据类型压缩率测试



可计算存储的应用前景
随着半导体工艺技术发展步伐的逐步放缓,传统的基于CPU的同构计算架构越来越难以支撑计算机系统性能的持续提升。但同时以AI/ML与海量数据分析为代表的各种应用对算机系统性能的需求却在不断地加速增长。这一矛盾迫使整个计算产业界从传统的同构计算架构逐步向异构计算体系架构转型,如此自然而然地孕育出了可计算存储这一新兴领域。可计算存储产品的商业化目前仍然处于初期开拓、探索的阶段。
为了迈出商业成功的第一步,可计算存储产品必须同时满足三个条件:能够无缝地嵌入到现有软、硬件系统生态环境内,用户应用程序不需作任何改动;所提供的计算服务必须具有足够的通用性、并能带来显著的应用价值;必须提供与通用存储器(如 NVMe SSD)相当的数据存储功能和性能。
所以在可预见的将来,可计算存储的发展会主要体现于将透明数据压缩、透明数据加密功能集成到高性能存储控制芯片内,以保证与现有软、硬件系统生态环境之间的无缝对接,并与NVMe标准完全兼容。同时,NVMe委员会正在推动NVMe标准的扩充,以使得用户可以更好地利用可计算存储器内部的透明压缩能力、达到降低数据存储成本的目的。目前,锐钲(杭州)科技有限公司已经成功地将以透明数据压缩、加密为核心的可计算存储产品投放市场,并且多家企业正在研发类似产品。

毫无疑问,以透明数据压缩、加密为核心的可计算存储产品将会成功地实现可计算存储商业化从零到一的突破。从长期发展的角度来看,可计算存储产品所提供的计算服务远远不止透明数据压缩、加密。随着软、硬件系统生态环境逐步提升对可计算存储产品的包容性和适应性,系统会将更多的与海量数据高度耦合的计算任务(如查询、过滤、数据预处理等)直接下推至可计算存储器内,达到近一步提高整体系统计算能力和效率的目的。
合作双方介绍
虚谷数据库管理系统V11.0/V12.0实现了传统关系型数据库的功能与对象管理,提供完整的事务ACID特性,兼容数据库标准SQL语法等特性,可支撑OLTP、OLAP及HTAP业务场景数据服务。

锐钲(杭州)科技有限公司
锐钲(杭州)科技有限公司的主打产品CSD3000 NVMe SSD是一款与数据库应用场景高度契合的可计算型企业级存储,具备透明压缩、透明加密、原子写等与数据库场景高度契合的重磅企业级特性,能够实现存储TCO大幅下降的同时几乎不额外损耗数据库的性能、甚至在很多数据库的负载场景中还能够大幅提高数据库的性能,保障数据的安全性。
本篇文章来源于微信公众号:虚谷数据库