也许我遗漏了一些明显的东西,但是对于我一生来说,我无法弄清楚在Gandiva过滤器操作之后如何访问数组的元素。
我已经链接了一个最小的示例,我可以这样编译:
$ /usr/lib64/ccache/g++ -g -Wall -m64 -std=c++17 -pthread -fPIC \
-I/opt/data-an/include mwe.cc -o mwe \
-L/opt/data-an/lib64 -lgandiva -larrow
然后我像这样运行二进制文件:
$ LD_LIBRARY_PATH=/opt/data-an/lib64 ./mwe
从广义上讲,这就是我的尝试(随后是MWE的摘录):
创建5个元素的向量:1、3、2、4、5
int num_records = 5;
arrow::Int64Builder i64builder;
ArrayPtr array0;
EXPECT_OK(i64builder.AppendValues({1, 3, 2, 4, 5}));
EXPECT_OK(i64builder.Finish(&array0));
使用Gandiva获得偶数元素,索引:2、3
// schema for input fields
auto field0 = field("f0", arrow::int64());
auto schema = arrow::schema({field0});
// even: f0 % 2 == 0
auto field0_node = TreeExprBuilder::MakeField(field0);
auto lit_2 = TreeExprBuilder::MakeLiteral(int64_t(2));
auto remainder = TreeExprBuilder::MakeFunction("mod", {field0_node, lit_2}, int64());
auto lit_0 = TreeExprBuilder::MakeLiteral(int64_t(0));
auto even = TreeExprBuilder::MakeFunction("equal", {remainder, lit_0}, boolean());
auto condition = TreeExprBuilder::MakeCondition(even);
// input record batch
auto in_batch = arrow::RecordBatch::Make(schema, num_records, {array0});
// filter
std::shared_ptr<Filter> filter;
EXPECT_OK(Filter::Make(schema, condition, &filter));
std::shared_ptr<SelectionVector> selected;
EXPECT_OK(SelectionVector::MakeInt16(num_records, pool_, &selected));
EXPECT_OK(filter->Evaluate(*in_batch, selected));
通过使用Gandiva过滤器中的选择向量作为索引数组来访问原始数组中的偶数元素
// std::cout << "array0[0]: " << array0->Value(0); // doesn't compile
// error: ‘using element_type = class arrow::Array’ {aka ‘class
// arrow::Array’} has no member named ‘Value’
// downcast it to the correct derived class
auto array0_cast = std::dynamic_pointer_cast<NumericArray<Int64Type>>(array0);
std::cout << "array0[0]: " << array0_cast->Value(0) << std::endl;
但是我似乎无法访问selection vector的元素。由于已将其声明为std::shared_ptr<arrow::Array>
,因此找不到Value(..)
方法。由于我将SelectionVector::MakeInt16(..)
填满,因此我尝试向下转换到arrow::NumericArray<Int16Type>
,但这失败了!我不确定我要去哪里。
auto idx_arr_cast = std::dynamic_pointer_cast<NumericArray<Int16Type>>(idx_arr);
if (idx_arr_cast) {
std::cout << "idx_arr[0]: " << idx_arr_cast->Value(0) << std::endl;
} else {
std::cerr << "idx_arr_cast is a nullptr!" << std::endl;
}
我还有一个相关但更笼统的问题。给定一个数组,如果我不知道确切的类型,我将找不到一种方法来访问元素(或对其进行迭代)。如果知道类型,就可以向下转换,并使用Value(..)
,GetValue(..)
,GetString(..)
之类的东西。这似乎只是为了访问元素。我想念什么?
注意:完整的MWE和Makefile都可以从this gist克隆。
答案 0 :(得分:0)
SelectionVector
存储索引,因此类型为unsigned
,以下工作:
auto arr = std::dynamic_pointer_cast<NumericArray<UInt16Type>>(selected->ToArray());
感谢the answer的Arrow开发者列表上的Ravindra。