Question

我正在Scala中编写一个（简单的）编译器，并使tokenizer可迭代，现在需要编写解析器。计划是使用递归下降策略，因此解析器将分成许多方法，每个方法调用（其中一些）其他方法。

我认为维护tokenizer迭代器的状态并在各种方法之间共享它是必要/可取的。是这样的吗？我该怎么办呢？如果不是这样，有哪些替代方案？

Answer 1

如果必须维护迭代器的状态，不要使用迭代器！迭代器是为了你可以随时摧毁你的状态。

你可能能够逃脱使用流。 Streams有一种不应该放弃记忆的习惯，因为在你不想要它们的地方坚持引用（但如果你想到它就可以告诉它们存在）。因此，如果您开始使用迭代器，则可以.toStream它并传入子流，然后传递流以进行进一步处理。但是如果你想避免将所有内容保存在内存中，你必须非常小心不要保留对流的头部的引用。

另一种方法是将所有内容转储到向量或数组中，并将整个问题保存在内存中;然后，您可以在继续时删除不相关的部分（或推进索引）。

最后，如果你绝对肯定你不需要任何回溯，那么你可以直接使用迭代器，而不必担心“维持状态”。也就是说，当你从子方法返回时，你已经完全消耗了正确的令牌而不再使用它，并且可以自由地继续解析。为了在返回值上没有至少一个单元素“我没有消耗的下一个标记”的情况下工作，你需要能够预测最后一个标记的位置（例如，无限长度列表必须以作为列表一部分的令牌，因此{1,2,3}可以是一个列表（如果您在看到{时进入列表处理并在您点击}时退出），而不是1,2,3 + 7 {1}}（因为在您意识到列表已经结束之前，您将使用+）。

Answer 2

您可以构造令牌迭代器并将其传递给每个递归解析器调用，以便令牌级解析从中读取：

def parse2(tokens: Iterator[String]) = List(tokens.next, tokens.next)
def parse1(tokens: Iterator[String]) = List(parse2(tokens), parse2(tokens))

val tokens = List("a","b","c","d").iterator
val parsed = parse1(tokens) //List(List(a, b), List(c, d))

共享迭代器

2 个答案: