论文研究高能物理事例级数据管理与传输系统的研究.pdf

高能物理实验不断的进步与发展产生了PB乃至EB级的数据，这些数据的采集、存储、传输与共享、分析与管理都面临着极大的问题与挑战。为了应对这些挑战，设计和实现了面向事例的数据管理系统，有效解决事例数据处理效率低以及分站点资源利用率低的问题。设计了一个基于Nosql数据库的事例索引系统，通过事例数据特征抽取，选取物理学家最感兴趣的属性作为索引，存储在数据库中，并采用倒排索引技术，提高事例数据检索的效率。针对事例数据进行缓存优化，减少数据转化和存储开销。提出数据跨域传输方案，充分利用网络带宽，降低分站点处理数据的延迟。系统进行了相关验证，实验结果表明，事例级的索引技术能够显著提高事例数据的检索效率，数