我为spark2.2.1新安装了hadoop2.8。当我输入pyspark时，它会抛出spark java.lang.NumberFormatException: For input string: "100M"。
我正在关注this问题以寻求解决方案。
其他信息：我正在尝试创建具有AWS ARN角色的Spark会话，以便Spark可以访问具有AWS中 Assume role 功能的不同数据源。
编辑：为spark2.2.1安装hadoop2.8；以前将hadoop2.7作为默认设置，但它不支持在Spark会话中使用AWS角色。