如何从hdfs中的文件中检索特定拆分？

Question

我正在尝试调试Hadoop Streaming Job。我可以看到，当尝试处理hdfs：// filepath / filename时，给定的映射器失败：364 + 28。如何确定文件中的哪些行/行符合364 + 28？

Answer 1

你可能会尝试获得特定的分割，看看那里有什么。例如，如果您使用的是C＃，则可以使用 System.Environment.GetEnvironmentVariable（“map_input_start”）来获取拆分的开始，然后查看该特定拆分的错误。

或者，如果您使用的是Python，则可以使用 os.environ [“map_input_start”] 。我不知道是否有任何直接的方法来实现这一目标。

HTH