我有一个独特的情况,我的所有orc文件都位于Blob存储上的Azure上,作为压缩的orc文件。我需要将这些文件加载到on SQL DB上。我可以使用polybase下载我理解的数据,但这需要很长时间。我认为网络连接是这里的瓶颈,因为poly base必须解压缩那些文件,运行map reduce job并通过网络将数据检索到on SQL表中。我没有任何其他SQL框来尝试扩展polybase。
但是我可以将这些orc文件下载到本地驱动器中,但我不知道如何编写外部数据源来指向本地文件。微软没有任何相关文档。外部数据源是否可能指向本地orc文件?我非常怀疑它,但只是尝试一下。
其他解决方案是在本地解压缩这些orc文件并加载它但我不知道有什么工具可以做到这一点吗?请提供一些工具。
答案 0 :(得分:0)
PolyBase不支持从本地文件位置读取。