有关tokenize.py的问题

Question

在python2.x中，tokenize（）函数有两个参数，即'readline'和'tokeneater'。第二个参数负责tokenize（）的输出机制，并为每个令牌调用一次。现在我们知道在python3.x中第二个参数'tokeneater'不存在。如何处理python3.x中的输出机制？

Answer 1

在Python 3.x中，tokenize生成一个包含5元组的流作为输出，就像Python 2.x的generate_tokens一样。