当我用shell运行多个水壶变换时(使用pan.sh) 遇到问题。我使用调试模式来获取导致此错误的原因。但什么都没找到。
我猜可能没有足够的资源,但我不确定。
使用lsof -p PID
获取fd的使用就足够了
寻找流程编号并找到足够的
但是当我运行转换时,CPU使用率非常高。 但总CPU较低,几乎是CPU空闲!
答案 0 :(得分:0)
你可以尝试两件事 - ktr设置 - >杂项 - > Hadoop有三个选项普通,单线程,单线程。
尝试使用单线程,因为您的表可能会执行更新,这会在尝试多次时产生错误。
同时根据您希望并行运行的副本数增加内存。
当这个答案合适时选择勾选,因为它可以帮助他人。
谢谢, Sivasakthi。