文字與資料

CSV 亂碼怎麼辦?UTF-8 與 Big5 差異及 Excel 解法

其他語言版本: 日本語

CSV 檔用 Excel 開啟出現亂碼,大多是因為檔案存的編碼和 Excel 讀取時用的編碼不一樣。最常見的情況是檔案存成 UTF-8,Excel 卻拿 Big5 或其他編碼去讀。最快的解法有兩種:把檔案另存成「含 BOM 的 UTF-8」,或改用 Excel 的「取得資料」功能匯入,並手動指定編碼。

CSV(Comma-Separated Values,逗號分隔值)本身只是純文字,檔案裡沒有任何欄位記錄「我是用哪種編碼存的」。所以開檔的軟體只能用猜的,猜錯,中文就會變成一串看不懂的符號。

CSV 亂碼的原因:檔案編碼與 Excel 讀法不一致

文字編碼就是一套「字元對應位元組」的規則。同一個「中」字,在不同規則下存成的位元組不同,讀檔的一方如果用錯規則,就會解出別的字。

項目 UTF-8 Big5
涵蓋範圍 Unicode 所有字元,含簡繁中文、日韓文、表情符號 以繁體中文為主,字數有限
一個常用中文字佔用 3 個位元組 2 個位元組
「中」的位元組 E4 B8 AD A4 A4
「文」的位元組 E6 96 87 A4 E5
常見來源 網頁系統、雲端服務、程式匯出、Mac 較舊的台灣系統、繁體中文 Windows 的「ANSI」存檔

在繁體中文版 Windows 上,「ANSI」或系統預設編碼通常就是 Big5(微軟的實作稱為字碼頁 950)。Excel 雙擊開啟 CSV 時,如果沒有其他線索,常會用這個系統預設編碼來讀。所以 UTF-8 的檔案拿到繁中 Windows 上直接開,就容易出現亂碼。

UTF-8 的正式規格可參考 RFC 3629。CSV 格式本身的常見寫法則記錄在 RFC 4180。這份文件只允許在傳輸時另外標註 charset,檔案本身不會記錄編碼。一旦 CSV 被下載、轉寄成單純的檔案,這個資訊就不見了,這也是混亂的根源。

從亂碼長相判斷是哪種編碼被讀錯

亂碼不是隨機出現的,看它長什麼樣子,大致就能推回原因。

範例:「中文」變成「中文」

假設檔案用 UTF-8 存了「中文」兩個字,總共 6 個位元組:E4 B8 AD E6 96 87。如果讀檔的軟體誤用西歐語系的 Windows-1252 編碼,就會把每個位元組當成一個字元來解:

  1. E4 → ä
  2. B8 → ¸(下加符號)
  3. AD → 軟連字號,畫面上通常看不見
  4. E6 → æ
  5. 96 → –(短破折號)
  6. 87 → ‡

結果就是「中文」。原本 2 個字變成 6 個符號,正好對應 UTF-8 每個中文字 3 個位元組。看到大量 ä、å、æ、ç、è、é 開頭的西歐字母組合,幾乎可以確定是「UTF-8 被當成西歐編碼讀」。英文版 Windows 比較常出現這種情形。

同樣 6 個位元組,如果被較舊的 Mac 版 Excel 當成 Mac Roman(舊版 Mac 的西歐編碼)來讀,會變成「‰∏≠Êñá」。符號不同,原因一樣都是 UTF-8 被讀錯。

常見亂碼樣式對照

看到的樣子 可能原因 處理方向
中、æ–‡ 這類西歐字母 UTF-8 被當成 Windows-1252 讀取 用 UTF-8 重新開啟或匯入
‰∏≠Êñá 這類符號 UTF-8 被當成 Mac Roman 讀取 用 UTF-8 重新開啟或匯入
看似中文但語意不通的罕見字,夾雜「?」 UTF-8 被當成 Big5 讀取(繁中 Windows 常見) 用 UTF-8 重新開啟或匯入
一串「�」或方框 位元組不合 UTF-8 規則,檔案多半是 Big5 試著改用 Big5 開啟
只有少數字變成「?」,其他正常 檔案曾以 Big5 存檔,存不下的字被換成問號 原資料已遺失,需找回原始檔

「�」只代表這些位元組不是有效的 UTF-8,檔案也可能是其他編碼。香港的檔案若是 Big5-HKSCS,用字碼頁 950 讀取時,HKSCS 增補的字仍會遺失,最好請產生檔案的系統或對方直接匯出 UTF-8。

最後一種最麻煩,因為問號是實際寫進檔案的字元,換任何編碼都救不回來。

用記事本確認檔案編碼

不想猜的話,可以直接查檔案目前的編碼:

  1. 對 CSV 檔按右鍵,選擇用「記事本」開啟。
  2. 新版 Windows 記事本的狀態列右下角會顯示編碼,例如「UTF-8」、「帶有 BOM 的 UTF-8」或「ANSI」。
  3. 如果記事本裡中文正常,代表它判斷對了,問題只出在 Excel 的讀法。

狀態列的顯示方式依 Windows 版本而異。若記事本沒有狀態列,可用 VS Code 等文字編輯器,畫面底部通常也會顯示檔案編碼。

BOM 是什麼?為什麼 Excel 要靠它認出 UTF-8

BOM(Byte Order Mark,位元組順序記號)是放在檔案最前面的特殊字元 U+FEFF。在 UTF-8 中,它固定是 3 個位元組:EF BB BF。

BOM 原本用來標示 UTF-16 等編碼的位元組順序,UTF-8 不需要這個功能。不過它在 UTF-8 檔案開頭剛好可以當成標籤,等於告訴軟體「這是 UTF-8」。Excel 雙擊開啟 CSV 時,看到開頭有 EF BB BF,通常就會用 UTF-8 讀取,中文自然正常。

以前面的例子來算:「中文」用 UTF-8 存是 6 個位元組,加上 BOM 變成 6 + 3 = 9 個位元組。用 Big5 存則只要 2 + 2 = 4 個位元組。

BOM 也有代價。部分程式或資料庫匯入時不會跳過 BOM,第一欄的欄名會多一個看不見的字元,例如「姓名」被讀成「姓名」,導致比對欄名失敗。Unicode 官方的 UTF 與 BOM 常見問答說明 UTF-8 可以加 BOM,但不是必要的。所以原則是:給 Excel 用的檔案加 BOM,給程式讀的檔案先確認對方能否處理 BOM。

解法一:把 CSV 另存成含 BOM 的 UTF-8

這個做法是直接修改檔案,以後任何人雙擊都能正常開啟,適合要轉寄給別人的檔案。

用記事本轉存

  1. 用記事本開啟 CSV,確認中文顯示正常。
  2. 選擇「另存新檔」。
  3. 在編碼選單中選「帶有 BOM 的 UTF-8」(舊版記事本只有「UTF-8」一個選項,存出來本身就帶 BOM)。
  4. 檔名保留 .csv 副檔名後儲存。
  5. 回到 Excel 雙擊開啟,確認中文正常。

如果原檔是 Big5,在繁中 Windows 上記事本通常會以 ANSI 正確讀出中文,照同樣步驟另存,就完成了 Big5 轉 UTF-8。檔案很大(例如數十萬列)時,記事本可能開得很慢,改用專業文字編輯器會比較順。

在 Excel 裡另存

如果已經在 Excel 裡把資料整理好,另存新檔時,存檔類型選「CSV UTF-8(逗號分隔)」。這個格式存出的檔案會帶 BOM。較舊的 Excel 版本可能沒有這個選項,需要改用記事本轉存。

解法二:用「取得資料」指定編碼匯入 CSV

如果不想改動原始檔,或檔案是系統每天自動產生的,可以改用匯入的方式,由你直接告訴 Excel 該用什麼編碼。

  1. 開一個空白活頁簿,到「資料」索引標籤。
  2. 選擇「取得資料」→「從檔案」→「從文字/CSV」(部分版本直接顯示「從文字/CSV」按鈕)。
  3. 選取 CSV 檔後,會出現預覽視窗。
  4. 在「檔案原點」下拉選單(各版本翻譯可能略有不同)選擇編碼:UTF-8 檔選「65001: Unicode (UTF-8)」,Big5 檔選「950: 繁體中文 (Big5)」。
  5. 確認預覽中文正常、分隔符號是逗號,再按「載入」。

這個方法還有一個好處。預覽時若改按「轉換資料」,可以先把電話、統一編號這類欄位設成「文字」型態,避免「0912345678」開頭的 0 被吃掉。Excel 數字只保留 15 位有效位數,16 位數的卡號或很長的訂單編號也應設成文字,否則尾數會被改成 0。

Mac 版 Excel 的匯入介面與 Windows 版不同,功能名稱、位置以及能否指定編碼都依版本而定。找不到編碼選項時,可以先把檔案轉成含 BOM 的 UTF-8 再開啟。

Excel 重新儲存後 CSV 又亂碼?存檔格式的陷阱

很多人照前面的方法修好了,改完資料按下儲存,下次打開又變亂碼,或寄給別人後對方說有問號。原因在於 Excel 的兩種 CSV 存檔類型:

存檔類型 實際編碼 風險
CSV UTF-8(逗號分隔) 含 BOM 的 UTF-8 程式讀取時可能要處理 BOM
CSV(逗號分隔) 系統預設編碼,繁中 Windows 通常是 Big5 存不下的字變成「?」,Mac 或外國系統開啟會亂碼

存檔時,Excel 預設帶出哪一種類型,依版本與開檔方式而異。最保險的做法是每次都用「另存新檔」,親眼確認類型是「CSV UTF-8」。

另外要注意,CSV 只存文字。儲存格格式、公式、多個工作表都不會保留,只會存下目前工作表的值。需要保留這些內容的話,另外存一份 .xlsx,CSV 只當作交換資料用的格式。

罕用字與表情符號在 Big5 無法顯示

就算編碼判斷正確,Big5 也有先天限制。標準 Big5 收錄常用字 5,401 個、次常用字 7,652 個,合計 5,401 + 7,652 = 13,053 字。以下字元不在其中:

  • 簡體字(例如「軟」的簡化寫法)
  • 韓文、表情符號
  • 部分人名、地名用的罕用字
  • 香港常用的部分粵語字與香港增補字符集(HKSCS)收錄字

這些字在 Big5 檔案中根本沒有對應的位元組,存檔時通常會被換成「?」,而且無法還原。客戶名單、會員資料這類常有罕用字的檔案,從一開始就應該全程用 UTF-8。

用工具逐筆檢查轉換結果

想確認轉換後內容有沒有出錯,可以照這個順序檢查:

  1. 先用記事本以正確編碼開啟檔案,確認中文顯示正常,再複製內容。直接從亂碼的 Excel 畫面複製,貼進任何工具都只會得到同樣的亂碼。
  2. 把內容貼進 CSV JSON 轉換工具轉成 JSON,檢查每個欄位的值是否完整、有沒有欄位錯位。
  3. 轉出的 JSON 再用 JSON 格式化工具排版。排版後可逐筆檢視,並用瀏覽器搜尋「?」找出被替換的字。

CSV 亂碼快速對照清單

  • 看到 中 這類西歐字母:UTF-8 被讀錯,改用 UTF-8 匯入,或另存含 BOM 的 UTF-8。
  • 看到 ‰∏≠ 這類符號(舊版 Mac Excel):同樣是 UTF-8 被讀錯,處理方式同上。
  • 看到語意不通的中文與「?」:多半也是 UTF-8 被當成 Big5,處理方式同上。
  • 看到「�」:多半是 Big5,可用「950: 繁體中文 (Big5)」匯入;香港含 HKSCS 字的檔案,請在來源端改匯出 UTF-8。
  • 只有個別字是「?」:檔案曾以 Big5 存檔,找回原始檔重新處理。
  • 要轉寄給別人:另存「CSV UTF-8(逗號分隔)」。
  • 要匯入程式或資料庫:先確認對方能否處理 BOM。
  • 電話、編號欄位:匯入時設成文字,避免開頭的 0 與 15 位以後的數字被改掉。
  • 每次修改後:用「另存新檔」確認存檔類型,不要直接按儲存了事。

常見問題

為什麼同一個 CSV 在同事電腦正常,在我的電腦卻是亂碼?

Excel 沒有線索時會用系統預設編碼讀檔,而預設編碼取決於作業系統的語言設定。繁中 Windows 通常是 Big5,英文版 Windows 是西歐編碼,Mac 的處理方式又不同。所以沒有 BOM 的檔案在不同電腦上可能出現不同結果,把檔案改存成含 BOM 的 UTF-8 最容易讓大家都正常顯示。

用 Google 試算表開 CSV 會亂碼嗎?

Google 試算表匯入 CSV 時預設以 UTF-8 讀取,匯入時沒有選擇編碼的選項,所以 UTF-8 的檔案通常能正常顯示。Big5 檔案上傳後就容易變成亂碼。建議先在電腦上用記事本開啟 Big5 檔,另存成 UTF-8 後再上傳。

程式讀取 CSV 時,第一欄名稱前面多了奇怪的字元怎麼辦?

這通常是 UTF-8 的 BOM(U+FEFF)被當成第一欄欄名的一部分。可以把檔案另存成不含 BOM 的 UTF-8,或在程式讀檔時指定會自動略過 BOM 的編碼設定。具體寫法依程式語言和函式庫而定,請查閱該工具的官方文件。

手機打開 CSV 出現亂碼,要怎麼處理?

手機上的試算表或檔案預覽 App 多半預設用 UTF-8 讀取,所以 Big5 檔案特別容易在手機上變成亂碼。比較穩定的做法是先在電腦上把檔案轉存成 UTF-8 再傳到手機。各 App 能不能指定編碼差異很大,以該 App 的說明為準。

把 CSV 副檔名改成 .txt 再開,能解決亂碼嗎?

改副檔名不會改變檔案內容的編碼,只會影響用哪個程式開啟,以及 Excel 是否跳出匯入精靈。如果 Excel 因此出現匯入步驟,你就能在步驟中指定編碼,看起來像是解決了。實際上還是靠指定正確編碼,直接用「從文字/CSV」匯入效果相同,也不必更改檔名。