我想使用Spark Streaming将数据写入kafka主题。为了确保写入kafka的数据仅出现一次，我在每个执行器中使用特定的transaction.id创建生产者。问题是spark-streaming-kafka依赖项中的KafkaProducer没有像initTransactions()这样的方法，因此我需要在kafka-client依赖项中使用KafkaProducer。
我已经将kafka-client中的KafkaProducer添加到jar中，但是，当我运行jar时，它仍然出现类似java.lang.NoSuchMethodError: org.apache.kafka.clients.producer.KafkaProducer.initTransactions()的错误。似乎它仍然使用部署在spark集群上的jar。我该怎么做才能纠正它？如果您能帮我一个忙，我将不胜感激。