使用spark cluster模式将文件写入unix目录

Question

我有一个当前以本地模式运行的spark应用程序，并将输出写入本地UNIX目录中的文件。

现在，我想在yarn集群模式下运行相同的工作，但仍想写入该UNIX文件夹。

我可以使用相同的saveAsTextFile（路径）吗？

Answer 1

是的，你可以。但这不是最好的做法。 spark本身可以独立运行，也可以在分布式文件系统上运行。我们使用分布式文件系统的原因是数据量很大，预期的输出可能很大。

因此，如果您确定输出将适合您的本地文件系统，请执行此操作，或者使用以下命令将其保存到本地存储。

char const* gl_error_string(GLenum const err) noexcept
{
  switch (err)
  {
    // opengl 2 errors (8)
    case GL_NO_ERROR:
      return "GL_NO_ERROR";

    case GL_INVALID_ENUM:
      return "GL_INVALID_ENUM";

    case GL_INVALID_VALUE:
      return "GL_INVALID_VALUE";

    case GL_INVALID_OPERATION:
      return "GL_INVALID_OPERATION";

    case GL_STACK_OVERFLOW:
      return "GL_STACK_OVERFLOW";

    case GL_STACK_UNDERFLOW:
      return "GL_STACK_UNDERFLOW";

    case GL_OUT_OF_MEMORY:
      return "GL_OUT_OF_MEMORY";

    case GL_TABLE_TOO_LARGE:
      return "GL_TABLE_TOO_LARGE";

    // opengl 3 errors (1)
    case GL_INVALID_FRAMEBUFFER_OPERATION:
      return "GL_INVALID_FRAMEBUFFER_OPERATION";

    // gles 2, 3 and gl 4 error are handled by the switch above
    default:
      assert(!"unknown error");
      return nullptr;
  }
}