apache arrow-读取csv文件

时间:2019-01-18 01:59:48

标签: c++ apache-arrow

全部 我现在正在使用Apache Arrow。

当使用arrow :: csv :: TableReader :: Read函数读取csv文件时, 我想将此文件读取为没有标题的文件。

但是,它读取csv文件并将第一行视为csv标头(数据字段)。 可以读取没有标题的csv文件吗?

谢谢

2 个答案:

答案 0 :(得分:1)

签出ParserOptions

int32_t arrow::csv::ParseOptions::header_rows = 1

可以将其定义为TableReader::Make(...)中的第三个参数。

static Status   Make(MemoryPool *pool, std::shared_ptr< io::InputStream > input, const ReadOptions &, const ParseOptions &, const ConvertOptions &, std::shared_ptr< TableReader > *out)

检查文档:https://arrow.apache.org/docs/cpp/namespacearrow_1_1csv.html

和以下测试文件: https://github.com/apache/arrow/tree/3cf8f355e1268dd8761b99719ab09cc20d372185/cpp/src/arrow/csv

答案 1 :(得分:0)

您暂时不能。如果header_rows == 0:

if (parse_options_.header_rows == 0) {
    // TODO allow passing names and/or generate column numbers?
    return Status::Invalid("header_rows == 0 needs explicit column names");
}

https://github.com/apache/arrow/blob/3cf8f355e1268dd8761b99719ab09cc20d372185/cpp/src/arrow/csv/reader.cc