我试图在bigquery中为超过6亿条记录计算IRR和NPV。由于bigquery没有任何循环机制,或者具有任何IRR功能或在变量中存储值;我们被卡住。我们的选项已经用完了,正在考虑用bigquery调用它:((
读取每个6亿行,执行某些计算(IRR)并将它们写回表中的最佳方法是什么?我们目前的选择是将它从bigquery上传到oracle,运行计算,导出并将其放回Bigquery。在bigquery中执行它是在运行几个小时后超时。
我们处在一个难题中,任何建议/提示都会非常感激。
答案 0 :(得分:2)
您可能已经在3月的Cloud Platform Live事件中看到过用户定义函数的演示。我们目前正在为此功能寻找值得信赖的测试人员。基本上,您可以编写一个可以读取和发出数据行的javascript函数。虽然这仍然是此功能的早期预览,但它非常强大,使用V8 Javascript执行引擎。
如果您有兴趣,请联系您的云支持代表,询问有关加入UDF可信测试程序的问题。如果您没有收到回复,请随时通过谷歌的tigani给我发电子邮件,然后我会前往正确的地方。 (但我们限制了我们注册的可信测试者的数量,但至少在开始时会这样做。)