在DSX中转换传感器标签数据

时间:2017-01-30 12:30:38

标签: cloudant watson-iot dsx data-science-experience spark-cloudant

我正致力于将现有的数据科学体验(DSX)配方转换为使用连接的传感器标签设备中的数据。但是,该设备的移动应用程序将数据作为字符串而不是数字发送 - 这导致DSX配方计算Z分数以阻塞。数据来自用作Watson物联网平台的组织者的cloudant数据库,所以我不能在那里重新格式化。有没有一种简单的方法来转换DSX笔记本内的数据?

2 个答案:

答案 0 :(得分:1)

只需访问行对象并进行转换:

  

cloudantdata.rdd.map(lambda row:float(row.temperature))。take(10)

编辑30.1.17:

直接解决您的问题:

  

df = cloudantdata.selectExpr(" timestamp as timestamp"," data.d.objectTemp as temperature")。map(lambda row:(row.timestamp,float(row。温度)))

这样你就得到了一个元组RDD,而IMHO无论如何更适合作为RowRDD

答案 1 :(得分:0)

我不熟悉DSX,但您可以使用红色节点来解析设备中的信息,然后将其以数字格式存储在云端数据库中