Question

我有一个200页的网站，并希望实现链接的规范化。

我使用我的ftp客户端将网站下载到本地目录中，并希望每个页面的<head>标记下都有规范元标记。

所以，对于第1页，我想转换

<head>

到

<head>
<link rel="canonical" href="http://www.site.com/page1.htm" />

并使用sed在整个本地目录（page1.htm，page2.htm ... page200.htm）中执行此操作。谢谢。

Answer 1

sed，awk并非旨在处理HTML。见RegEx match open tags except XHTML self-contained tags

使用xslt，bash，xmlstarlet

进行演示

cd /where/HTML_pages/exists
for file in *html; do xmlstarlet transform --html <(cat<<EOF
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0" >
    <xsl:output method="html" encoding="utf-8"/>
    <xsl:template match="@*|node()">
        <xsl:copy>
            <xsl:apply-templates select="@*|node()" />
        </xsl:copy>
    </xsl:template>
     <xsl:template match="head">
         <xsl:copy>
             <xsl:apply-templates/>
             <xsl:if test="not(link)">
                 <link rel="canonical" href="http://www.site.com/$file" />
             </xsl:if>
         </xsl:copy>
     </xsl:template>
 </xsl:stylesheet>
EOF) >/"tmp/$file" "$file" && mv "/tmp/$file" "$file"
done

修改

仍在使用xslt的更好/适当的纯xmlstarlet解决方案，但现在bash不再是强制性的：

档案xsl.xslt：

<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0">
   <xsl:output method="html" encoding="utf-8" />
   <!-- where are not making a HTML from scratch,
         so we will copy what's exists -->
   <xsl:template match="@*|node()">
      <xsl:copy>
         <xsl:apply-templates select="@*|node()" />
      </xsl:copy>
   </xsl:template>
   <!-- looking for "head" tag -->
   <xsl:template match="head">
      <xsl:copy>
         <xsl:apply-templates />
         <!-- if "link" tag not exists ... -->
         <xsl:if test="not(link)">
            <!-- we add the new "link" tag... -->
            <link>
               <xsl:attribute name="rel">
                  <!-- with a fixed string attribute... -->
                  <xsl:text>canonical</xsl:text>
               </xsl:attribute>
               <xsl:attribute name="href">
                  <!-- and a dynamic string attribute ("link" parameter) -->
                  <xsl:value-of select="$link" />
               </xsl:attribute>
            </link>
         </xsl:if>
      </xsl:copy>
   </xsl:template>
</xsl:stylesheet>

shell代码：

cd /where/HTML_pages/exists
for file in *html; do
    xmlstarlet transform \
        --html \
        xsl.xslt \
        -s "link=http://www.site.com/$file" "$file" > "/tmp/$file" &&
            mv "/tmp/$file" "$file"
done

这将在<head>中添加您想要的元素，并将当前页面添加为变量

Answer 2

我自己分两个阶段解决了这个问题：

find ./ -name '*.html' | while read i; do echo $i; sed -i 's#</head>#<link rel="canonical" href="'$i'" />\n</head>#I' ./$i;done

2.find ./ -name '*.html' | while read i; do echo $i; sudo sed -i 's#<link rel="canonical" href=".#<link rel="canonical" href="http://domainname.here#g' ./$i;done;

如何使用sed（或awk）进行链接规范化，获取文件名？

2 个答案:

使用xslt，bash，xmlstarlet

修改