我正在尝试解析HL7值,因为我使用的是几个jar文件,那些jar文件解析了字符串中的HL7值,我执行了代码并且它在scala中运行正常但是现在我希望运行相同的东西scala为我使用下面的代码与样本,但我得到以下错误。因此,要解决此问题,我想将org.apache.spark.rdd.RDD[String]
转换为String
。
代码:
object ExampleUseTerser {
def main(args: Array[String]): Unit = {
val textfile = sc.textFile("/user/cloudera/xxxx/File")
val context : HapiContext = new DefaultHapiContext();
val p = context.getGenericParser();
val hapiMsg = p.parse(textfile);
val terser = new Terser(hapiMsg);
val secondAllergyType:String = terser.get("/PID-7");
println(secondAllergyType);
}
}
更新
示例:
PID|1|5897450M|58974650M|58977650M|CSTO^TES||19320722|F|||745 - 81 ST^^IAMI BEH^FL^341|||||||332165520
ORC||5033220|503320||||||20150202|||1689659096^HAM^MISH^^^^PI
OBR|1||64564|DF DEFAULT|||20150202|2015002||||||||16096^^^^^I|||||||||
HHH|1|NM|6690-2^^LN^0^^L||7|XE/UL|3.4-18||||F|||20150202| ^^L
HHH|9|NM|777-3^LOINC^LN^015172^PLATELETS^L||185|X10E3/UL|150-379||||F|||201202|TA ^^L
HHH|10|NM|770-8^^LN^015107^^L||65|%|||||F|||20150202|TA ^^L
HHH|11|NM|736-9^LOINC^LN^015123^^L||26|%|||||F|||20150202|TA ^^L
HHH|12|NM|5905-5^LOINC^LN^015131^^L||8|%|||||F|||20150202|TA ^^L
HHH|13|NM|713-8^LOINC^LN^015149^^L||1|%|||||F|||20150202|TA ^^L
错误:
error: type mismatch;
found : org.apache.spark.rdd.RDD[String]
required: String
val hapiMsg = p.parse(textfile);
答案 0 :(得分:3)
当你使用RDD
时,你需要记住抽象是通过值集合(它实际上有点复杂,但是让它留在暂时的),而不是单一的价值。
鉴于您的示例,我们需要映射集合中的所有元素并尝试提取其PID。我们可以使用mapPartitions
来完成,因此我们不必为每个值分配新的HapiContext
:
object ExampleUseTerser {
def main(args: Array[String]): Unit = {
val textfile = sc.textFile("/user/cloudera/xxxx/File")
val parsedData = textfile.mapPartitions { it =>
val context: HapiContext = new DefaultHapiContext()
val parser = context.getGenericParser()
it.map { file =>
val hapiMsg = parser.parse(file)
val terser = new Terser(hapiMsg)
terser.get("/PID-7")
}
}
}
}
如果您正在对此进行测试并希望查看已解析的文件,则可以使用RDD.collect
作为I've mentioned in my previous answer(但当然不执行此操作这在任何一种生产环境中都有。)