论文研究 dCACH:内容感知群集和分层分布式重复数据删除

在重复数据删除中，索引查找磁盘瓶颈是限制备份过程吞吐量的主要障碍。 最小化此问题和提高速度的影响的一种方法是，使用非常高的进程粒度的块进行重复数据删除，其代价是节省的存储空间和可伸缩性有限。 另一种方法是在多个节点之间分配重复数据删除过程，但是这种方法引入了存储节点孤岛效应，并且还导致较高的通信成本。 在本文中，我们探索了dCACH，它是一种内容感知的集群式分层重复数据删除系统，该系统实现了内联过程粒度和离线细粒度分布式重复数据删除的混合，其中路由决策是针对一组文件而不是单个文件进行的。 它利用布隆过滤器检测数据流与先前数据流之间的相似性，并执行有状态路由，从而解决了存储节点孤岛问题。 而且，