使用gnu中的一个命令从多个文件制作多个文件

时间:2013-02-16 20:38:53

标签: gnu-make saxon

假设扩展名为.xhtml的1000个文件在目录输入中,并且这些文件的某个子集(例如$(FILES)中的输出路径)需要通过xslt转换为目录输出中具有相同名称的文件。一个简单的制定规则是:

$(FILES): output/%.xhtml : input/%.xhtml
    saxon s:$< o:$@ foo.xslt

当然,这可以一次转换一个文件。问题是我想使用saxon的批处理一次完成所有文件,因为考虑到为每个文件加载java和saxon的开销,考虑到文件数量会更快。 Saxon允许-s(source)选项成为目录并处理该目录中的所有文件,并在-o:选项中指定的目录中放置具有相同名称的结果。

我知道使用模式规则让GNU make执行单个命令来更新多个文件的众所周知的技术:

output/%.xhtml: input/%.xhtml
    saxon s:input -o:output foo.xslt

但在我的情况下,这会遇到两个问题。首先,它将对输入目录中的所有文件运行转换,而不仅仅是已更改的文件;第二,它不会将转换限制为$(FILES)中指定的文件子集。对于所有匹配的目标,仅在模式规则中运行一次配方的GNU make功能在所谓的“静态模式规则”(参见[此处])的情况下不起作用,如在顶部给出的规则帖子已知。

为了使用saxon批处理功能,我需要创建一个临时目录,只复制那些要处理的文件,然后使用该临时目录作为输入目录运行转换。我尝试使用

创建一个临时目录,并使用特定于目标的变量记住其名称,以备将来使用
$(FILES): TMPDIR:=$(shell mktemp -d)

但是这会为每个过期的目标创建一个新的临时目录。在任何情况下,我都不确定如何构造规则,然后将必要的文件复制到该目录中。我不想在解析makefile时创建临时目录,因为我有一个非递归的make系统,它将解析所有make文件,即使是那些与当前顶级目标无关的文件,也不要想要为不需要/不会使用它的情况创建临时目录。

我很清楚,过去有很多关于从单个输入创建多个文件的问题;一种解决方案是(非静态)模式规则;其他解决方案涉及虚假目标。但是,在这种情况下,我不知道如何把所有这些放在一起。

我可以识别更改的文件并使用静态模式规则

复制它们
$(FILES): output/%.xhtml : input/%.xhtml
    TMPDIR=`mktemp -d`
    cp $< $(TMPDIR)

但实际上我更愿意使用单个cp命令复制文件,而这将逐个复制它们。也许这里有一些应用cp -u

我还考虑对需要更新的文件使用ad-hoc扩展,但无法看到如何使其工作。我即将放弃,只要在所有文件发生变化时对所有文件进行撒克逊变换,但还有更好的方法吗?

3 个答案:

答案 0 :(得分:1)

就个人而言,我不会尝试从命令行执行此操作。这部分是因为我不是一个shell脚本向导。我也不是Ant向导,但由于要求是处理未更改的文件,因此这似乎非常落入Ant领域。另一方面,Ant将为每个转换重新编译样式表,这是您可能想要避免的开销;如果是这种情况那么你最好的选择可能是编写一个小的Java应用程序。它可能只有100行或更少。

最终的可能性是在Saxon中进行处理:即使用collection()函数读取多个输入文件的单个转换,并使用xsl:result-document生成多个结果文件。 Saxon(商业版)提供最后修改的扩展功能,允许您过滤要处理的文件。对于1000个文件,您可能还需要扩展函数saxon:discard-document()来防止堆填充。

答案 1 :(得分:0)

就个人而言,我喜欢你原来的一个编译器每个文件的配方。这与make的-j n标志不一样吗?

您当然可以通过复制批量处理文件,然后在最后运行saxon。递归make(呃!)可以整理排序。类似的东西:

.PHONY: all
all:
    rm -rf tmpdir
    ${MAKE} tmpdir/sentinel
    saxon -s:tmpdir -o:output foo.xslt

tmpdir/sentinel: $(FILES) ; touch $@

$(FILES): output/%.xhtml: input/%.xhtml
    ln $< $(patsubst input/%,tmpdir/%,$<)

这确实有效,尽管我对于撒谎非常不安(静态模式规则旨在在output/中创建目标,但事实上它在tmpdir/中的脏行为)。

请注意tmpdir/sentinel的配方,$?已正确设置为过期的输出文件列表。如果您可以将一堆文件传递给saxon而不是文件夹,这可能很有用。

答案 2 :(得分:0)

我认为这里的一个问题是'saxon'支持目录中的一个文件或所有文件,因此不适合批处理而不复制到临时目录。

否则,通过使用时间戳标记文件作为代理目标,这非常简单。例如:

output/.timestamp : $(FILES)
    mkdir -p $(@D)
    $(COMMAND) -outputdir=output $?
    touch $@

这三个命令是:

  1. 确保输出目录存在。
  2. 对比timestamp文件更新的文件运行batch命令。
  3. 更新时间戳文件(必要时创建)。
  4. 记住命令的每一行都在自己的子shell中执行,如果任何命令行失败,则不会调用后续行。

    这种方法对Java版本很有用。