我有一张如下表格。
| COLUMN A| COLUMN b|
| Case| 1111111111|
| Rectype| ABCD|
| Key| UMUM_REF_ID=A1234|
| UMSV ERROR| UNITS_ALLOW must|
| NTNB ERROR| GGGGGGG Value|
| Case| 2222222222|
| Rectype| ABCD|
| Key| UMUM_REF_ID=B8765|
| UMSV ERROR| UNITS_ALLOW must|
| NTNB ERROR| Invalid Value|
我想添加新专栏＆＃34; C＆＃34;。 C是collect_list＆＃34; Case＆＃34;，＆＃34; Rectype＆＃34;，＆＃34; key＆＃34;，＆＃34; UMSV ERROR＆＃34;和＆＃34; NTNB ERRO＆＃34;在A。
我的代码是
val window = Window.rowsBetween(0,4)
val begin = rddDF.withColumn("C", collect_list( $"value").over( window)).where( $"A" like "Case")
begin.show()
效果很好。
现在，我想再次获取collect_list但忽略＆＃34; NTNB ERROR＆＃34;其中b列中的值为＆＃34;无效值＆＃34;。 我该怎么办？