ProbingPT 集成到Moses的高效短语表实现

ProbingPT 是 Moses 中的一个短语表模块，实现了高效的短语表加载和处理。自 2014年6月13日 起，ProbingPT 2.1 已被集成到 Moses 主代码中，所有更新都在 Moses 的官方存储库中进行。本说明仅供参考。

要构建 ProbingPT，请使用以下命令：

./bjam -j10 --with-probing-pt

ProbingPT 2.1 使用 KenLM 的探测哈希表，提升了短语表的效率，并从 短语表.1.gz 文件加载短语。

2.0版本更新

• 修复了某些情况下的散列错误。

• 修复了概率分数为 0 时导致的崩溃。

• 添加 API 检查，确保在 API 发生变更时无法加载不兼容的 PT。

• 初步支持重新排序表。

构建步骤

1. 首先构建 KenLM：

cd lib/kenlm

./bjam -j5 link=static

1. 使用如下命令构建 ProbingPT 模块：

./bjam -j10 --with-probing-pt

这样就可以高效地加载和使用短语表了。