无法在我的机器上运行Spark（Ubuntu 18.04）

Question

我收到此错误：

Dataset<TransactionPritmAndSummarySparkVO> currencyConvertedDS =
    filteredExOutputDS.map(vo -> dummyMap(vo), txnPritmAndSummaryOutputEncoder);

currencyConvertedDS.show();

private static TransactionPritmAndSummarySparkVO dummyMap(TransactionPritmAndSummarySparkVO vo) {
    System.out.println("SUMMARY_ID is " + vo.getSUMMARY_ID());
    return vo;
}

在终端中运行以下命令时：

currencyConvertedDS

Answer 1

您要做的就是使用shell手动登录到Docker容器并检查路径。为此，您将：

docker run -it --rm jupyter/pyspark-notebook sh

，然后使用ls遍历目录树。

实际上，在您的docker中使用的jupyter/pyspark-notebook的当前版本使用spark-2.4.0-bin-hadoop2.7（通知版本不匹配），因此您的答案是：

使用

docker run -it --rm -p 4040:4040 jupyter/pyspark-notebook /usr/local/spark-2.4.0-bin-hadoop2.7/bin/pyspark