基于流式正则表达式的JavaScript词法分析器实现

在JavaScript中，我尝试编写一个基于流正则表达式的词法分析器，并取得了一些成果。在实现过程中，主要遇到以下几个问题：

1. 块的处理

为了有效跟踪剩余部分，我需要在每次丢弃一块时更新正则表达式索引。然而，如果正则表达式在解析时遇到字符串末尾，将导致部分正则表达式无法匹配。

2. 最大匹配长度（maximumMatchLength）

无法强制正则表达式从某个特定索引开始匹配，为了解决这个问题，我尝试了保存匹配，并将其索引与当前索引进行比较。如果两者不匹配，则此规则在该块中可以忽略；若匹配，则设置lastIndex并再次执行正则表达式。如果匹配索引等于当前索引，我们就可以确定匹配。

3. 按索引排序匹配项

为了更好地找到匹配项，我对匹配结果按索引排序。这不仅能更高效地找到匹配项，还可以保持规则的原始顺序，尽管在少量规则时可能不明显。

4. 令牌消耗换行符时的行跟踪问题

如果令牌消耗部分换行符，如何跟踪当前行位置成为一个挑战。为了处理此问题，需使用特定的代码逻辑，但会使整体代码结构变得复杂。