Question

我有一个csv文件，我使用＆＃34; SparkSession DataFrame＆＃34;插入IBM Data Science Experience。 csv文件中的所有内容（标题除外）都是整数。

数据框通过某些机器学习模型按预期工作，直到尝试创建线性回归分类，我得到此错误：

TypeError：无法根据规则＆＃39; safe＆＃39;
将dtype（＆＃39; float64＆＃39;）中的数组数据投射到dtype（＆＃39; U32＆＃39;）

我认为这意味着数据不再是整数，而是被视为浮点数。

我该如何解决这个问题？导入文件时是否可以执行任何操作以确保它保持为整数？请参阅下面的示例，我尝试添加格式的第二个选项。

`from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = spark.read\
  .format('org.apache.spark.sql.execution.datasources.csv.CSVFileFormat')\
  .option('header', 'true')\
  .option('format', 'int32')\
  .load(bmos.url('name', 'name.csv'))
df.take(5)`

Answer 1

@ charles-gomes是对的。这是一个完整的示例，其中我的文件tinyinttest.csv位于名为TestingSandbox的对象库容器中。 tinyinttest.csv的内容是：

name,val
a,1
b,2

代码：

from pyspark.sql import SparkSession
import ibmos2spark

credentials = {
    'auth_url': 'https://identity.open.softlayer.com',
    'project_id': 'xxx',
    'region': 'xxx',
    'user_id': 'xxx',
    'username': 'xxx',
    'password': 'xxx'
}

configuration_name = 'xxx'
bmos = ibmos2spark.bluemix(sc, credentials, configuration_name)
spark = SparkSession.builder.getOrCreate()

df = spark.read\
  .format('org.apache.spark.sql.execution.datasources.csv.CSVFileFormat')\
  .option('header', 'true')\
  .option('inferSchema', 'true')\
  .load(bmos.url('TestingSandbox', 'tinyinttest.csv'))

df.schema

输出：

StructType(List(StructField(name,StringType,true),StructField(val,IntegerType,true)))

＆＃39;插入SparkSession DataFrame＆＃39;在DSX中自动将数据从整数转换为浮点数

1 个答案: