2014年3月28日 星期五

[轉貼] 字串 codepage 轉碼處理,解決亂碼問題

出處:http://www.dotblogs.com.tw/yc421206/archive/2011/06/09/27596.aspx?fid=65648

這是我在某天所遇到的一個問題,我對某台設備進行操作時它回傳了一串我看不懂的字串
⊃;nÅé¼Ò⊃;Õ¤¤ªº¤@¯ë©Ê¿ù»~¡G¼Ð·Ç GUI (⊃;ϧΤƥΤᤶ­±)¡C";
當時直覺就是使用編碼來處理,不過這樣做並不會得到正確的結果,原因是我並未取得正確的編碼byte,也就是codepage
byte[] big5 =Encoding.GetEncoding("Big5").GetBytes("⊃;nÅé¼Ò⊃;Õ¤¤ªº¤@¯ë©Ê¿ù»~¡G¼Ð·Ç GUI (⊃;ϧΤƥΤᤶ­±)¡C");
Console.WriteLine(Encoding.GetEncoding("Big5").GetString(big5));
 
插撥一下,稍微講解一下Encoding.GetEncoding的用法,Encoding.GetEncoding的第一個參數叫codepage,什麼叫codepage(字碼頁)
image
字碼頁。
微軟賦予每個語言一個數字代碼,叫做字碼頁(codepage)。字碼頁可能會決定使用哪些文字,以及單位符號等等。
繁體中文的字碼頁是 950。
我們可以由Encoding.GetEncodings方法 加上  Encoding.CodePage 屬性 取得所有的codepage
static void codepage()
{
    foreach (EncodingInfo ei in Encoding.GetEncodings())
    {
        Encoding e = ei.GetEncoding();
        Console.WriteLine("Name:{0},CodePage:{1}",ei.Name, e.CodePage);
    }
    Console.ReadLine();
}
image
也可以查一下google


接下來回到正題,該怎麼樣處理那該死的亂碼?只要用以下的原始碼就能夠處理。
static void encoding()
{
    string source = "⊃;nÅé¼Ò⊃;Õ¤¤ªº¤@¯ë©Ê¿ù»~¡G¼Ð·Ç GUI (⊃;ϧΤƥΤᤶ­±)¡C";
    byte[] unknow = Encoding.GetEncoding(28591).GetBytes(source);
    string Big5 = Encoding.GetEncoding(950).GetString(unknow);
    Console.WriteLine(Big5);
    Console.ReadLine();
}
先把字串轉成正確的byte
byte[] unknow = Encoding.GetEncoding(28591).GetBytes(source);
再把轉到你想要顯示的編碼
string Big5 = Encoding.GetEncoding(950).GetString(unknow);

果真翻譯成我們要看的編碼了~
image


好了問題來了,怎麼知道編碼是28591,我們可以用下列片斷程式碼來處理,會得到所有codepage交叉處理的結果,觀察文字檔有哪些是看的懂的文字,會得到不少的正確。

static void savecode()
{
    StringBuilder sb = new StringBuilder();
    string source = "⊃;nÅé¼Ò⊃;Õ¤¤ªº¤@¯ë©Ê¿ù»~¡G¼Ð·Ç GUI (⊃;ϧΤƥΤᤶ­±)¡C";

    foreach (var e1 in  Encoding.GetEncodings())
    {
        foreach (var e2 in Encoding.GetEncodings())
        {
            byte[] unknow = Encoding.GetEncoding(e1.CodePage).GetBytes(source);
            string result = Encoding.GetEncoding(e2.CodePage).GetString(unknow);
            sb.AppendLine(string.Format("{0} => {1} : {2}",e1.CodePage,e2.CodePage,result));
        }
    }
    File.WriteAllText("test.txt", sb.ToString());
}
image

內容有1.8Mbyte實在很多,這次只要用950跟所有的codepage交叉比對,資料量立即下降許多
static void savebig5()
{
    StringBuilder sb = new StringBuilder();
    string source = "⊃;nÅé¼Ò⊃;Õ¤¤ªº¤@¯ë©Ê¿ù»~¡G¼Ð·Ç GUI (⊃;ϧΤƥΤᤶ­±)¡C";

    foreach (var e in Encoding.GetEncodings())
    {
        byte[] unknow = Encoding.GetEncoding(e.CodePage).GetBytes(source);
        string result = Encoding.GetEncoding(950).GetString(unknow);
        sb.AppendLine(string.Format("{0} => {1} : {2}", e.CodePage, 950, result));
    }
    File.WriteAllText("big5.txt", sb.ToString());
}
image


後記:

沒有留言:

張貼留言