如何在python脚本中导致错误的大数据上找到特定行？

Question

我能够在python中编写一个程序来进行数据分析。从开始到结束，该程序运行良好，只有一个小的 mcve数据。但是，当我使用我的大数据集运行它时，一切运行良好，直到某个地方的数据结构出错，我得到TypeError。由于程序很大并且可以动态创建多个数据，因此我无法跟踪大数据的哪个特定行是数据结构真的搞砸了。

问题：我想知道我的数据的哪一行是错误的数据结构。任何简单的方法。

我可以告诉问题来自哪个功能。但是，我的问题不在于函数，而是数据结构可能在某处有一个微妙的结构问题。数据会持续数次，直到遇到问题，但我无法分辨到哪里。我尝试添加一个打印功能来直观地追踪它。但是，数据是如此巨大，并且有很多类似的模式，并且很难将其追溯到主要的大数据。

我不确定是否应该将我的脚本放在这里，但我认为如果不在SE上编写我的程序，我可以收到一些建议。

任何信息赞赏。

Answer 1

代码会有所帮助，但没有它，我能想到的只是跟踪行号并将其包含在您的错误中。试一试。

line_number = 0
for line in your_file: 
   line_number += 1
   try:
     <do your thing>
   except(TypeError):
     print("Error at line number {}".format(line_number))

编辑：这将只是打印行号并继续。如果要停止处理，也可以引发错误。