从UTF-8-BOM转换为UTF-8

Question

我想知道是否可以将Visual Studio 2008项目中的所有文件保存为特定的字符编码。我得到了一个混合编码的解决方案，我想让它们完全相同（带签名的UTF-8）。

我知道如何保存单个文件，但是项目中的所有文件呢？

Answer 1

由于您已经在Visual Studio中，为什么不只是简单地编写代码？

foreach (var f in new DirectoryInfo(@"...").GetFiles("*.cs", SearchOption.AllDirectories)) {
  string s = File.ReadAllText(f.FullName);
  File.WriteAllText (f.FullName, s, Encoding.UTF8);
}

只有三行代码！我相信你可以在不到一分钟内写出来： - ）

Answer 2

这可能有所帮助。

由于原始引用被垃圾网站破坏，
链接已被删除。

短版：编辑一个文件，选择文件 - ＆gt;高级保存选项。而不是将UTF-8更改为Ascii，将其更改为UTF-8。 编辑：确保选择不带字节顺序标记（BOM）的选项

设置代码页＆amp;好的。它似乎只是暂存在当前文件之后。

Answer 3

如果您需要在PowerShell中执行此操作，请执行以下操作：

Function Write-Utf8([string] $path, [string] $filter='*.*')
{
    [IO.SearchOption] $option = [IO.SearchOption]::AllDirectories;
    [String[]] $files = [IO.Directory]::GetFiles((Get-Item $path).FullName, $filter, $option);
    foreach($file in $files)
    {
        "Writing $file...";
        [String]$s = [IO.File]::ReadAllText($file);
        [IO.File]::WriteAllText($file, $s, [Text.Encoding]::UTF8);
    }
}

Answer 4

我会以编程方式（在VS之外）转换文件，例如使用Python脚本：

import glob, codecs

for f in glob.glob("*.py"):
    data = open("f", "rb").read()
    if data.startswith(codecs.BOM_UTF8):
        # Already UTF-8
        continue
    # else assume ANSI code page
    data = data.decode("mbcs")
    data = codecs.BOM_UTF8 + data.encode("utf-8")
    open("f", "wb").write(data)

这假设所有不在“带签名的UTF-8”的文件都在ANSI代码页中 - 这与VS 2008显然也假设的相同。如果您知道某些文件具有不同的编码，则必须指定这些编码是什么。

Answer 5

使用C＃：
1）创建一个新的ConsoleApplication，然后安装Mozilla Universal Charset Detector
2）运行代码：

static void Main(string[] args)
{
    const string targetEncoding = "utf-8";
    foreach (var f in new DirectoryInfo(@"<your project's path>").GetFiles("*.cs", SearchOption.AllDirectories))
    {
        var fileEnc = GetEncoding(f.FullName);
        if (fileEnc != null && !string.Equals(fileEnc, targetEncoding, StringComparison.OrdinalIgnoreCase))
        {
            var str = File.ReadAllText(f.FullName, Encoding.GetEncoding(fileEnc));
            File.WriteAllText(f.FullName, str, Encoding.GetEncoding(targetEncoding));
        }
    }
    Console.WriteLine("Done.");
    Console.ReadKey();
}

private static string GetEncoding(string filename)
{
    using (var fs = File.OpenRead(filename))
    {
        var cdet = new Ude.CharsetDetector();
        cdet.Feed(fs);
        cdet.DataEnd();
        if (cdet.Charset != null)
            Console.WriteLine("Charset: {0}, confidence: {1} : " + filename, cdet.Charset, cdet.Confidence);
        else
            Console.WriteLine("Detection failed: " + filename);
        return cdet.Charset;
    }
}

Answer 6

感谢您的解决方案，此代码对我有用：

Dim s As String = ""
Dim direc As DirectoryInfo = New DirectoryInfo("Your Directory path")

For Each fi As FileInfo In direc.GetFiles("*.vb", SearchOption.AllDirectories)
    s = File.ReadAllText(fi.FullName, System.Text.Encoding.Default)
    File.WriteAllText(fi.FullName, s, System.Text.Encoding.Unicode)
Next

Answer 7

我创建了一个函数来更改用asp.net编写的编码文件。我搜索了很多。我还使用了此页面中的一些想法和代码。谢谢。

这是功能。

  Function ChangeFileEncoding(pPathFolder As String, pExtension As String, pDirOption As IO.SearchOption) As Integer

    Dim Counter As Integer
    Dim s As String
    Dim reader As IO.StreamReader
    Dim gEnc As Text.Encoding
    Dim direc As IO.DirectoryInfo = New IO.DirectoryInfo(pPathFolder)
    For Each fi As IO.FileInfo In direc.GetFiles(pExtension, pDirOption)
        s = ""
        reader = New IO.StreamReader(fi.FullName, Text.Encoding.Default, True)
        s = reader.ReadToEnd
        gEnc = reader.CurrentEncoding
        reader.Close()

        If (gEnc.EncodingName <> Text.Encoding.UTF8.EncodingName) Then
            s = IO.File.ReadAllText(fi.FullName, gEnc)
            IO.File.WriteAllText(fi.FullName, s, System.Text.Encoding.UTF8)
            Counter += 1
            Response.Write("<br>Saved #" & Counter & ": " & fi.FullName & " - <i>Encoding was: " & gEnc.EncodingName & "</i>")
        End If
    Next

    Return Counter
End Function

它可以放在.aspx文件中，然后调用如：

ChangeFileEncoding("C:\temp\test", "*.ascx", IO.SearchOption.TopDirectoryOnly)

Answer 8

如果您在VS中使用TFS： http://msdn.microsoft.com/en-us/library/1yft8zkw(v=vs.100).aspx 示例：

tf checkout -r -type:utf-8 src/*.aspx

Answer 9

如果您想避免此类错误：

使用以下代码：

foreach (var f in new DirectoryInfo(@"....").GetFiles("*.cs", SearchOption.AllDirectories))
            {
                string s = File.ReadAllText(f.FullName, Encoding.GetEncoding(1252));
                File.WriteAllText(f.FullName, s, Encoding.UTF8);
            }

编码号1252是Visual Studio用于保存文件的默认Windows编码。

Answer 10

我只是提供这个建议，以防无法在Visual Studio中自动执行此操作（我甚至不确定这会起作用）：

在项目中创建一个名为足の不自由なハッキング的类（或其他一些强制Visual Studio编码为UTF-8的unicode文本）。
添加“使用MyProject。足の不自由なハッキング ;;”到每个文件的顶部。您应该能够通过全局替换“using System.Text;”来完成所有操作。 “使用System.Text;使用MyProject。足の不自由なハッキング;”。
保存一切。你可能得到一长串“你想用UTF-8保存X.cs吗？”消息或其他东西。

Answer 11

将解决方案从VS2008转换为VS2015后遇到编码问题。转换后，所有项目文件都以ANSI编码，但它们包含UTF8内容，并在VS2015中被识别为ANSI文件。试过很多转换策略，但只使用了这个解决方案。

 Encoding encoding = Encoding.Default;
 String original = String.Empty;
 foreach (var f in new DirectoryInfo(path).GetFiles("*.cs", SearchOption.AllDirectories))
 {
    using (StreamReader sr = new StreamReader(f.FullName, Encoding.Default))
    {
       original = sr.ReadToEnd();
       encoding = sr.CurrentEncoding;
       sr.Close();
    }
    if (encoding == Encoding.UTF8)
       continue;
    byte[] encBytes = encoding.GetBytes(original);
    byte[] utf8Bytes = Encoding.Convert(encoding, Encoding.UTF8, encBytes);
    var utf8Text = Encoding.UTF8.GetString(utf8Bytes);

    File.WriteAllText(f.FullName, utf8Text, Encoding.UTF8);
 }

Answer 12

修改了上面的版本以使其正常工作。

// important! create a utf8 encoding that explicitly writes no BOM            
var utf8nobom = new UTF8Encoding(false); 
foreach (var f in new DirectoryInfo(dir).GetFiles("*.*", SearchOption.AllDirectories))
{
    string text = File.ReadAllText(f.FullName);
    File.WriteAllText(f.FullName, text, utf8nobom);
}

Answer 13

该项目已从Visual Studio 2017的菜单中删除您仍然可以通过文件->另存为->然后单击“保存”按钮上的向下箭头，然后单击“使用编码保存...”来访问该功能。

如果需要，还可以通过工具->自定义->命令将其重新添加到“文件”菜单中。

Answer 14

从UTF-8-BOM转换为UTF-8

基于rasx's answer，这是一个PowerShell函数，该函数假定您当前的文件已经使用UTF-8编码（但可能使用BOM），并将其转换为不带BOM的UTF-8，因此保留了现有的Unicode字符。

Function Write-Utf8([string] $path, [string] $filter='*')
{
    [IO.SearchOption] $option = [IO.SearchOption]::AllDirectories;
    [String[]] $files = [IO.Directory]::GetFiles((Get-Item $path).FullName, $filter, $option);
    foreach($file in $files)
    {
        "Writing $file...";
        [String]$s = [IO.File]::ReadAllText($file, [Text.Encoding]::UTF8);
        [Text.Encoding]$e = New-Object -TypeName Text.UTF8Encoding -ArgumentList ($false);
        [IO.File]::WriteAllText($file, $s, $e);
    }
}

将Visual Studio项目中的所有文件保存为UTF-8

14 个答案:

从UTF-8-BOM转换为UTF-8