Question

使用R Server，我想简单地从 Azure Data Lake 中读取原始文本（如基础中的readLines）。我可以连接并获取如下数据：

library(RevoScaleR)

rxSetComputeContext("local")

oAuth <- rxOAuthParameters(params)
hdFS <- RxHdfsFileSystem(params)

file1 <- RxTextData("/path/to/file.txt", fileSystem = hdFS)

RxTextData实际上并没有在执行该行后获取数据，它更像是一个符号链接。当你运行类似的东西时：

rxSummary(~. , data=file1)

然后从数据湖中检索数据。但是，它始终被读入并视为分隔文件。我想要：

下载文件并使用R代码在本地存储（最好不要）。
使用某种readLines等效项来获取数据但以'raw'读取它，以便我可以进行自己的数据质量检查。

此功能是否存在？如果是这样，这是怎么做到的？

returnDataFrame = FALSE

在RxTextData内。这将返回一个列表。但正如我所说，数据不会立即从数据湖中读取，直到我运行类似rxSummary的内容，然后尝试将其作为常规文件读取。

上下文：我有一个“坏”的CSV文件，其中包含双引号内的换行符。这会导致RxTextData中断。但是，我的脚本检测到这些事件并相应地修复它们。因此，我不希望RevoScaleR读入数据并尝试解释分隔符。

Answer 1

我找到了一种方法，通过调用Azure Data Lake Store REST API（改编自Hadley Wickham在GitHub上的httr包中的演示）：

library(httpuv)
library(httr)

# 1. Insert the app name ----
app_name <- 'Any name'

# 2. Insert the client Id ----
client_id <- 'clientId'

# 3. API resource URI ----
resource_uri <- 'https://management.core.windows.net/'

# 4. Obtain OAuth2 endpoint settings for azure. ----
azure_endpoint <- oauth_endpoint(
    authorize = "https://login.windows.net/<tenandId>/oauth2/authorize",
    access = "https://login.windows.net/<tenandId>/oauth2/token"
    )

# 5. Create the app instance ----
myapp <- oauth_app(
  appname = app_name,
  key = client_id,
  secret = NULL
  )

# 6. Get the token ----
mytoken <- oauth2.0_token(
    azure_endpoint, 
    myapp,
    user_params = list(resource = resource_uri),
    use_oob = FALSE,
    as_header = TRUE,
    cache = FALSE
    )

# 7. Get the file. --------------------------------------------------------
test <- content(GET(
      url = "https://accountName.azuredatalakestore.net/webhdfs/v1/<PATH>?op=OPEN",
      add_headers(
        Authorization = paste("Bearer", mytoken$credentials$access_token),
        `Content-Type` = "application/json"
        )
  )) ## Returns as a binary body.

df <- fread(readBin(test, "character")) ## use readBin to convert to text.

Answer 2

你可以使用ScaleR函数这样做。将分隔符设置为不在数据中出现的字符，并忽略列名称。这将创建一个包含单个字符列的数据框，您可以根据需要进行操作。

# assuming that ASCII 0xff/255 won't occur
src <- RxTextData("file", fileSystem="hdfs", delimiter="\x255", firstRowIsColNames=FALSE)

dat <- rxDataStep(src)

虽然Azure Data Lake真的用于存储大数据集，但这个数据集似乎足够小以适应内存，我想知道为什么你不能将它复制到本地磁盘....

与Azure Data Lakes和R Server一起使用时，readLines等效

2 个答案: