Question

我正在尝试使用纱线运行火花应用程序。该应用程序使用pipe()操作来运行本地php程序。有线的是，每次启动PHP进程时，它将在大约1分钟后收到SIGPIPE信号（在成功处理几条记录之后）并终止。

PS：同一个程序可以在独立的os env上顺利运行，但在生产环境中出错了，这是一个集群。

任何人都可以帮助解决可能的原因吗？感谢。

write(1, "success\te10489280713f60626d15d20"..., 34564) = 26372
--- SIGPIPE (Broken pipe) @ 0 (0) ---
write(1, "ang__meta\":{\"value\":\"empty\",\"gro"..., 8192) = -1 EPIPE >(Broken pipe)
--- SIGPIPE (Broken pipe) @ 0 (0) ---
--- SIGTERM (Terminated) @ 0 (0) ---

代码如下：
斯卡拉方面：

def main(args: Array[String]): Unit = {
    if (args.length < 2) {
      sys.exit(1)
    }
    val dt_src = args(0)
    val limit = args(1)
    var sql = s"SELECT * FROM db_dw.table_input_json  WHERE dt='${dt_src}'"
    val limit_str = s" LIMIT ${limit}"
    if (limit != "0") {
        sql = sql + limit_str
    }
val df = sqlContext.sql(sql)
var rdd = df.map(r =>  r.getAs[String]("json_str")).pipe("/home/work/software/php56/bin/php ./yiic php_file index"
}

PHP方面：

public function actionIndex()
{
while ($line = fgets(STDIN)) {
         list($success, $json_str,$message) = $this->_handle($line);
         if(!$success) {
             echo "fail" . "\t"  . $message . "\n";
             continue;
         }
          echo "success" . "\t"  . $json_str . "\n"
}

EPIPE（断管）带火花管动作

0 个答案: