Question

我之前从未使用过命名管道，最近意识到这正是我需要的。

我正在运行一个使用gnu parallel的程序，它可以生成为mySQL数据库格式化的输出吨（GB到1TB，现在很难知道）。

我发现我可以打开两个终端： 1号航站楼的内容如下：

find . -type f -name "*.h" | parallel --jobs 12 'cprogram {}' > /home/pipe

其中pipe是使用mkfifo制作的fifo。

在第二个终端上，我运行一个类似于此的命令：

mysql DataBaseName -e "LOAD DATA LOCAL INFILE '/home/pipe' INTO TABLE tableName";

它有效......

但这很简陋......如果我理解正确，当第一个过程结束导致管道关闭时会产生EOF。

理想情况下，我想在具有不同参数的循环中运行第一个进程。每次迭代都需要很长时间，我需要进行健全性检查，这样我就不会花一周的时间来发现我有错误或错误的逻辑。

我想知道如何以标准方式将FIFO用于此类程序。

Answer 1

如果我理解正确，那么第一次产生EOF 过程结束导致管道关闭。

排序。除此之外还有一点点 - 从第一道工序结束后说管道关闭在技术上是不正确的。

相反，管道和FIFO在管道中没有剩余数据时返回EOF，并且没有任何进程打开它进行写入。

通常，这可以通过让读取器进程打开FIFO进行读取和写入来解决，即使它永远不会写入 - 例如，通过从FIFO读取接受本地客户端的服务器可以打开FIFO进行读取并且写入使得当没有活动客户端时，服务器不必处理EOF的特殊情况。这是处理它的“标准”方法，如关于IPC机制的章节中的 UNIX环境中的高级编程中所述。

在您的情况下，这实际上是不可能的，因为您没有持续运行的永久进程（也就是说，您没有等效的服务器进程）。您基本上需要某种“持久性写入器”，即在不同的迭代期间维持管道打开以进行写入的过程。

我能想到的一个解决方案是在后台cat标准输入FIFO。这可以确保cat打开FIFO进行写入，因此始终存在一个活动的写入器，但是通过将其保留在后台，您实际上不会将任何输入提供给它，并且它永远不会写入FIFO。请注意，cat尝试从stdin读取后，shell将停止（但不会终止）作业（后台进程组中运行的进程通常会发送SIGTTIN并在它们停止时停止尝试从stdin读取，因为他们没有控制终端，直到它们被带到前台）。无论如何，只要你没有输入任何输入，你就会很好 - 这个过程处于停止状态，但FIFO仍然可以写入。只要后台作业没有终止，你就永远不会在管道上看到EOF。

简而言之，你：

创建FIFO：mkfifo /home/pipe
启动后台作业，打开FIFO进行写作：cat >/home/pipe &
运行您想要的程序，以及您想要的迭代次数。忽略有关正在停止的后台作业的shell消息。您可以这样离开，因为即使作业停止，管道仍然可以打开以进行写入。
完成后，通过将背景cat置于前台并发送SIGINT（通常为Ctrl + C）或kill PID来终止它。

请注意，通过执行此操作，读取器进程（在本例中为mysql）将永远不会知道输入何时结束。除非在杀死mysql之前杀死后台cat，否则它将始终阻止更多输入。

在不同的执行中保持FIFO可读

1 个答案: