如何将数据从一个Azure EventHub复制到另一个Azure EventHub？

Question

没有现成的解决方案可以将数据从一个Azure EventHub克隆到另一个EventHub。有什么方法可以实现这一目标？

Answer 1

复制Azure EventHub流的一个简单选项是在PySpark中编写一个克隆作业。您只需从source-Eventhub中读取流，然后选择 body ，如果与您的场景相关，还从源流数据帧中选择 properties 并将此流写入目标- EventHub：

df = spark \
  .readStream \
  .format("eventhubs") \
  .options(**ehSource) \
  .load() \
  .select ("properties", "body") \
  .writeStream \
  .format("eventhubs") \
  .options(**ehTarget) \
  .option("checkpointLocation", checkploc) \
  .start()