StreamDedup：一种适用于分散存储的分布式内联去重技术

高效数据压缩与去重技术，跨节点分布式流加速器设计，采用RDMA技术实现低延迟高吞吐量，单节点12.7GB/s吞吐量，10节点线性扩展，系统整合存储计算中间层。

　　

摘要人工智能摘要

要查看此由人工智能生成的摘要，您必须拥有高级访问权限。

了解更多登录

摘要

摘要

高效的数据缩减技术（包括去重和压缩）在存储系统中至关重要，它们直接影响系统的性能和寿命。现有的数据去重方法通常专注于SSD内部的去重，错过了跨节点去重的机会，或者在尝试实现大规模分布式SSD阵列的低延迟和高吞吐量数据缩减时存在可扩展性问题。我们提出了StreamDedup，这是一种分布式流加速器，它作为计算层和存储层之间的网络附加中间层服务，实现了透明的去重功能。StreamDedup管理数据去重和压缩的所有方面，并可以无缝集成到现有系统中。它支持RDMA技术，具有高度的可扩展性，能够提升大规模存储系统的数据处理能力。我们在FPGA上部署的原型显示，StreamDedup在单个节点上的吞吐量可达12.7 GB/s，与分散存储的网络带宽相当，延迟不到50微秒。在10个节点上测试时，StreamDedup的吞吐量几乎呈线性增长，延迟不到60微秒。

人工智能摘要

人工智能生成的摘要（实验性）

此摘要是通过自动化工具生成的，并非由文章作者撰写或审核。提供该摘要的目的是为了帮助读者发现相关信息、评估文章的实用性，并协助来自相关研究领域的读者理解本文内容。它旨在补充作者提供的摘要，后者仍然是文章的官方总结。完整文章才是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

要查看此由人工智能生成的通俗语言摘要，您必须拥有高级访问权限。