Apache Spark。 UDF列基于另一列而不将其名称作为参数传递。

Question

DataSet有列公司，我在这个DataSet中添加了另一列 - firm_id就是这样的例子：

$"firm"

有没有办法消除传递val ds = dataset.withColumn("firm_id", firm_id_by_code) 作为参数（此列始终存在于DS中）。 我正在为此寻找一些东西：

{{1}}

Answer 1

您可以提供定义udf时将使用的列。

$result = Invoke-Command -ComputerName $serverName -Credential (Get-Credential) -ScriptBlock { 
    New-Item "c:\temp\1.txt" -type file -force
    exit 123
}