从.NET Core访问Azure Gen2 DataLake容器

时间:2020-03-10 18:46:33

标签: .net hadoop hive databricks azure-data-lake-gen2

我正在尝试从Azure Gen2容器中的Hadoop群集读取数据。我一直在尝试使用CData.ApacheHive进行连接,但是我并不反对遍历实木复合地板文件并走那条路线。我用于前者的代码是...

            using (ApacheHiveConnection connection = new ApacheHiveConnection(connectionString))
        {
            ApacheHiveCommand cmd = new ApacheHiveCommand("SELECT * FROM sandbox_int.myTable LIMIT 10", connection);
            ApacheHiveDataReader rdr = cmd.ExecuteReader();
            while (rdr.Read())
            {
                //whatever here
            }
        }

我目前关闭了500个连接。有没有人有使用ApacheHive提供程序执行此操作的经验,还是有更好的方法来执行此操作?

0 个答案:

没有答案