在Dataproc pyspark map中调用GCP Translate API

Question

我正在尝试从pyspark为文件中的每一行调用翻译客户端api的语言检测方法。

我创建了一个map方法，但是这个工作似乎只是冻结而没有错误。如果我删除对translate API的调用，则执行正常。是否可以在pySpark map中调用Google客户端API方法？

做翻译的映射方法

def doTranslate（数据）：

translate_client = translate.Client()

# Get the message information
messageId = data[0]
messageContent = data[6]

detectedLang = translate_client.detect_language(messageContent)

r = []
r.append(detectedLang)
return r

Answer 1

想出来!!你的问题让我朝着正确的方向前进。谢谢！

原来我从通话中得到一个例外，因为我超过了邮件大小的默认配额。我添加了一个try / except块并确定这是问题所在。然后将消息大小缩小（我只是测试所以不想弄乱配额）修复了问题。