tokenizr:JavaScript的字符串标记化库 源码

代币化 JavaScript的灵活字符串标记化库 关于 Tokenizr是一个小JavaScript库,提供强大而灵活的字符串标记化功能。 它打算在基于递归下降的“语法解析器”中用作基础的“词法扫描器”,但也可以用于其他解析目的。 其独特的功能是: 高效迭代: 它以只读且无复制的方式遍历输入字符串。 堆叠状态: 其标记化基于用于确定可应用规则的堆叠状态。 每个规则只能针对一个或多个特定状态启用。 正则表达式匹配: 它的标记化基于强大的正则表达式来匹配输入字符串。 重复比赛: 规则操作可以更改状态,然后在当前输入位置从头开始强制重复匹配过程。 比赛拒绝: 规则动作可以拒绝它们在当前输入