如何在Hadoop流中指定unprintable作为键值分隔符

Question

ATT。我使用stream.map.output.field.separator =来指定分隔符

Answer 1

我不确定你是否可以通过-Dkey = value generic options语法传入一个不可打印的字符，但你应该能够修改代码以允许对类似转义的代码进行特殊解释：

• http://svn.apache.org/viewvc/hadoop/common/tags/release-1.0.3/src/contrib/streaming/src/java/org/apache/hadoop/streaming/PipeMapper.java?view=markup - 第78行是从作业配置中读取分隔符的位置

修改此代码，您可以检测到类似&#x的前缀，并将尾随字符视为十六进制编码，因此标签可以作为-Dstream.map.output.field.separator=&#x09传递。