像this one这样的问题似乎表明可以直接从pyspark查询数据库,我想更新一个使用sqoop来代替使用它的数据管道。但是使用sqoop,您可以使用-P
,您的凭据将被隐藏。我没有看到如何将它用于jdbc接口,我可以找到的所有示例都建议硬编码usn / pass到脚本中。我环境中的数据很敏感,所以我不能这样做。
df = sqlCtx.load(source="jdbc",
url="jdbc:oracle:thin://x.x.x.x/xdb?user=****&password=****",
dbtable="somequery")
我已经读过,即使隐藏来自终端的输入的getpass
等库也有时容易受到内存攻击。有安全的方法吗?