CSVの文字化けを直す方法|ExcelでのUTF-8とShift_JISの違い
ほかの言語で読む: 繁體中文
CSVをExcelで開いたときの文字化けは、たいてい文字コードの取り違えが原因です。文字コードとは、文字をコンピューターが扱う数値(バイト)に置き換えるルールのことです。UTF-8で書かれたファイルを、ExcelがShift_JIS(Windowsでは正確にはCP932)として読んでしまうと文字化けします。
直し方は大きく2つです。1つはExcelの「データの取り込み」機能で、文字コードをUTF-8と指定して開く方法です。もう1つは、ファイルを「BOM付きUTF-8」で保存し直してからダブルクリックで開く方法です。化けた状態で保存しなければ元のデータは壊れないので、化けた画面を見ても慌てずに対処できます。
この記事では、CSVの文字化けがなぜ起きるのかを説明したうえで、化け方から原因を見分ける方法、Excelでの具体的な手順、上書き保存の落とし穴、機種依存文字の注意点を順に整理します。
CSVが文字化けする原因はUTF-8とShift_JISの取り違え
CSVは「カンマで区切っただけの文字データ」です。ファイルの中に「この文字コードで書きました」という情報は基本的に入っていません。そのため、開く側のソフトが文字コードを推測して読むことになり、推測が外れると文字化けが起きます。
UTF-8とShift_JIS(CP932)の違い
日本語のCSVで使われる文字コードは、主にこの2種類です。
| 項目 | UTF-8 | Shift_JIS(CP932) |
|---|---|---|
| 扱える文字 | 世界中の文字、絵文字も含む | 日本語の主な文字と英数字が中心 |
| ひらがな・漢字1文字のバイト数 | 主に3バイト | 2バイト |
| 「こんにちは」(5文字)の大きさ | 5×3=15バイト | 5×2=10バイト |
| よく使われる場面 | Webサービスの書き出し、Mac、プログラム | 日本語版Windowsの従来のソフト、Excelの標準的なCSV保存 |
CP932は、Shift_JISにNEC特殊文字やIBM拡張文字(①、㈱、髙など)を加えた、Microsoftの拡張版です。Windowsのソフトで「Shift_JIS」や「ANSI」と表示される場合、日本語環境では実際にはCP932を指していることがほとんどです。
同じ「こ」でも、UTF-8では「E3 81 93」、Shift_JISでは「82 B1」という別のバイト列になります。ルールが違う以上、片方のルールで書いたものをもう片方のルールで読めば、意味の通らない文字になるわけです。
ExcelはBOMの有無で文字コードを判断している
BOM(バイト・オーダー・マーク)は、ファイルの先頭に置く目印です。UTF-8の場合は「EF BB BF」という3バイトで、通常は画面に表示されません。
日本語環境のExcelでCSVをダブルクリックして開くと、先頭にBOMがあればUTF-8として、なければShift_JIS(CP932)として読むのが従来の挙動です。Webサービスやプログラムが書き出すCSVは「BOMなしUTF-8」であることが多いため、Excelで開くと化けてしまいます。なお、自動判定の細かい挙動はExcelのバージョンや環境によって違う場合があります。
BOMの仕組みについては、UnicodeコンソーシアムのUTF・BOMに関するFAQ(英語)に説明があります。
化け方で原因を見分ける方法
文字化けの見た目には、原因ごとに特徴があります。まず化け方を見て、どちら向きの取り違えかを判断しましょう。
「縺薙s縺ォ縺。縺ッ」はUTF-8をShift_JISとして読んだ状態
「こんにちは」をUTF-8で保存し、Shift_JISとして読むと次のようになります。
- UTF-8の「こんにちは」は「E3 81 93 / E3 82 93 / E3 81 AB / E3 81 A1 / E3 81 AF」の15バイトです。
- Shift_JISでは、先頭が「E3」のバイトは次の1バイトとセットで2バイト文字と解釈されます。「E3 81」は「縺」になります。
- 続く「93 E3」は「薙」、「82 93」は全角の「s」です。
- 「AB」「A1」「AF」は単独では半角カタカナの「ォ」「。」「ッ」と解釈されます。
- 区切りがずれたまま読み進めた結果、「縺 薙 s 縺 ォ 縺 。 縺 ッ」の9文字になります。
ひらがなはUTF-8で「E3 81」か「E3 82」から始まるものが多いため、「縺」や「繧」が何度も出てきます。カタカナは「E3 82」「E3 83」から始まるので「繧」「繝」が目立ちます。これらの字と半角カナが混ざっていたら、UTF-8をShift_JISとして読んでいると判断できます。
逆向きや保存時の化けとの見分け方
| 見え方の特徴 | 考えられる原因 | 元に戻せるか |
|---|---|---|
| 「縺」「繧」「繝」と半角カナが多い | UTF-8をShift_JISとして読んだ | UTF-8を指定して開き直せば戻る |
| 「�」(ひし形の中に?)が並ぶ | Shift_JISをUTF-8として読んだ | Shift_JISを指定して開き直せば戻る |
| 一部の文字だけ「?」になっている | 保存時にShift_JISにない文字が置き換えられた | 戻らない |
| 先頭の列名に見慣れない記号が付く | BOMを文字として読むソフトで開いた | BOMを除けば戻る |
逆向き、つまりShift_JISのファイルをUTF-8として読んだ場合は、バイトの並びがUTF-8のルールに合わないため、「�」などの置換文字が並びます。表示のされ方はソフトによって異なります。
注意が必要なのは3行目です。これは読み方の問題ではなく、保存した時点で文字の情報が失われています。元のファイルを入手し直すしかありません。
CSVの文字化けをExcelのデータ取り込みで直す
ファイルを変更せずに直すなら、Excelの取り込み機能で文字コードを指定する方法が確実です。同じファイルをダブルクリックで開き直しても判定は変わらず、同じように化けるため、必ず取り込み機能を使います。Microsoft 365やExcel 2016以降の一般的な流れは次のとおりです。
- Excelで空白のブックを開きます(CSVをダブルクリックで開かないのがポイントです)。
- 「データ」タブにある「テキストまたはCSVから」を選び、対象のCSVファイルを指定します。
- プレビュー画面の「元のファイル」(ファイルの文字コード)の欄で「65001: Unicode (UTF-8)」を選びます。Shift_JISのファイルなら「932: 日本語 (シフト JIS)」を選びます。
- プレビューの日本語が正しく表示されたことと、区切り記号がコンマになっていることを確認します。
- 郵便番号や電話番号など、先頭の0を残したい列がなければ「読み込み」を選んで完了です。ある場合は、次の項目の方法で型を指定します。
画面の名称や配置はバージョンによって異なり、古いExcelでは「テキストファイルウィザード」という画面で同じ指定をします。どの画面でも「文字コード(元のファイル)を選ぶ欄」があるので、そこを探してください。
「0012」の先頭の0を残す正しい型の指定
取り込み機能は列の型(数値・文字など)を自動で判定します。「0012」が数値と判定されると「12」になってしまいます。ここで注意したいのは、プレビューで「データの変換」を選んだ時点で、Power Query(取り込み時にデータを整える画面)にはすでに「変更された型」というステップが自動で追加されていることが多い点です。つまり、その時点で値はもう「12」になっています。
正しく0を残すには、次のどちらかを行います。
- 画面右側の「適用したステップ」から「変更された型」を削除し、そのあとで対象の列のデータ型を「テキスト」にする。
- 「変更された型」を残したまま列のデータ型を「テキスト」に変える場合は、「列タイプの変更」の確認が出たときに「現在のものを置換」を選ぶ。
「新しいステップの追加」を選ぶと、すでに「12」になった数値を文字にするだけなので、結果は「12」のままです。ここを間違えると、テキスト型にしたのに0が消えたように見えます。
もっと簡単な方法として、手順3のプレビュー画面に「データ型検出」の欄がある場合は「データ型を検出しない」を選んで読み込むと、値は文字のまま取り込まれます。また、Power Queryのオプションには型の自動検出そのものを止める設定もあります。項目名や場所はバージョンによって異なります。
BOM付きUTF-8で保存し直して直す方法
毎回取り込み操作をするのが手間なら、ファイル自体をBOM付きUTF-8にしておけば、ダブルクリックでも化けずに開けるようになります。この方法が効くのは、Excelが.csvファイルを直接開く場合です。
メモ帳でBOM付きUTF-8に変換する
Windowsのメモ帳を使う場合の流れです。
- CSVを右クリックし、メモ帳で開きます。日本語が正しく読めることを確認します。
- 「名前を付けて保存」を選びます。
- 保存画面の文字コード(エンコード)欄で「UTF-8(BOM付き)」にあたる項目を選びます。
- ファイル名の拡張子が「.csv」のままであることを確認して保存します。
元のファイルは残しておき、別名で保存するのが安全です。元がBOMなしUTF-8なら、保存後は3バイトだけ大きくなります。「こんにちは」だけのファイルなら、15+3=18バイトです。
元がShift_JISのファイルを同じ手順で保存し直すと、日本語1文字が2バイトから3バイトになるため、大きさはもっと変わります。「こんにちは」なら10バイトが15+3=18バイトになります。
ExcelからBOM付きUTF-8で書き出す
Excelで作った表をCSVにする場合は、保存時のファイルの種類で決まります。
| ファイルの種類の表示 | 保存される文字コード | 向いている用途 |
|---|---|---|
| CSV UTF-8(コンマ区切り) | BOM付きUTF-8 | 他のExcelで開く、絵文字や外国語を含む |
| CSV(コンマ区切り) | 日本語環境ではShift_JIS(CP932) | Shift_JISを指定するシステムへの登録 |
提出先のシステムが文字コードを指定している場合は、その指定が最優先です。BOM付きを受け付けないシステムもあるので、仕様書やヘルプで確認してください。CSVという形式の一般的なルールはRFC 4180(英語)にまとまっていますが、文字コードは各システムの取り決めに任されています。
Excelで上書き保存すると文字コードが変わる落とし穴
CSVをExcelで開いて少し直し、そのまま上書き保存すると、別の問題が起きることがあります。
文字コードが変わり、文字が「?」になる
Excelのバージョンや保存のしかたによっては、UTF-8だったCSVが「CSV(コンマ区切り)」、つまりShift_JISで保存し直されることがあります。すると、Shift_JISにない文字は「?」に置き換えられ、その情報は失われます。
受け取り側のシステムがUTF-8を前提にしていれば、今度はそちらで文字化けします。保存するときはファイルの種類の表示を必ず確認しましょう。
文字化けした状態で保存してはいけない理由
「縺薙s縺ォ…」と表示された状態で上書き保存すると、化けた文字そのものがデータとして書き込まれます。こうなると、取り込み機能で開き直しても元には戻りません。化けたら保存せずに閉じ、取り込み機能で開き直すのが鉄則です。
文字コード以外に変わってしまう値
Excel経由の上書き保存では、文字コード以外にも次のような変化が起きることがあります。
- 先頭の0が消える(「090」で始まる電話番号が「90」から始まる数値になる)
- 桁の多い数字が「1.23E+15」のような指数表示になり、16桁目以降が失われる
- 「1-2」のような値が日付と判定され、「1月2日」に変わる
元のCSVを残したまま作業し、取り込み時に「変更された型」を削除するか「現在のものを置換」を選んで、該当列をテキスト型にしておくと防げます。ダブルクリックで開いた時点で値は変換されているので、開いてから列の書式を変えても消えた0は戻りません。
TSVやtxtファイルが文字化けしたときの直し方
タブ区切りのTSVやtxtファイルでも、原因は同じ文字コードの取り違えです。ただし、直し方は少し変わります。
BOM付きUTF-8に保存し直す方法は、主にExcelが.csvファイルを直接開くときに役立つものです。.tsvや.txtは、通常の設定ではダブルクリックしてもExcelで開かないことが多く、Excelの「開く」から.txtを選ぶとテキストファイルウィザードが表示されます。
そのため、TSVやtxtでは「テキストまたはCSVから」などのデータ取り込みで、文字コードを指定して開くのが確実です。取り込み時に区切り記号を「タブ」にしてください。
機種依存文字とShift_JISにない文字の注意点
Shift_JISで保存・受け渡しするCSVでは、使える文字に制限があります。
| 文字の例 | 厳密なShift_JIS | CP932 | UTF-8 |
|---|---|---|---|
| ①、Ⅱ、㈱、㎡ | 含まれない | 含まれる | 含まれる |
| 髙、﨑 | 含まれない | 含まれる | 含まれる |
| 𠮷(つちよし)、絵文字 | 含まれない | 含まれない | 含まれる |
| é、ü など欧文のアクセント付き文字 | 含まれない | 含まれない | 含まれる |
「①」や「髙」のように、CP932では使えても他のShift_JIS系の環境では扱えない文字を「機種依存文字」と呼びます。社名の「髙島屋」や人名の「𠮷田」のように、名簿や顧客データで問題になりやすい文字です。
また「〜」(波ダッシュ)や「-」(全角マイナス)は、変換ソフトによって対応づける文字が異なることがあります。そのため、変換を経ると別の記号になったり「?」になったりする場合があります。人名・住所・型番を含むCSVは、変換後に該当文字を検索して確認しておくと安心です。
全角・半角やバイト数の数え方については、文字数の数え方|スペース・改行・全角半角・絵文字の扱いを解説も参考になります。
CSV JSON変換ツールで中身を確認する
Excelで開くと、型の自動変換や文字コードの判定が入るため、ファイルの本当の中身が見えにくくなります。そこで、CSVをJSON形式に変換して確認する方法が役立ちます。JSONとは、データを「項目名: 値」の組で書くテキスト形式です。
CSV JSON変換でCSVをJSONに変換すると、各行が「列名と値の組」として表示されます。表の見た目ではなく対応関係で見られるので、次の点を確認するのに向いています。
- 列がずれていないか(値の中のカンマが原因で列が増えていないか)
- 列名と値の組み合わせが想定どおりか
- 日本語の値が正しく表示されているか
変換結果の日本語が化けて見える場合は、まずテキストエディターでファイルが正しい文字コードで開けるかを確かめ、正しく表示された内容をもとに変換し直してください。
一方、BOMの有無はこの方法では判断しないでください。ブラウザーで文字を読み込むときは先頭のBOMが自動で取り除かれることが多く、列名がきれいに見えてもBOMがないとは限りません。BOMの有無は、メモ帳などの文字コード表示が「UTF-8(BOM付き)」にあたるものかどうかで確かめます。「0012」の先頭の0が残っているかも、変換時の数値の扱いに左右されるため、テキストエディターで元のファイルを見るのが確実です。
変換結果のJSONを読みやすく整えたいときは、JSON整形ツールで整形と構文チェックができます。
CSVが文字化けしたときのチェックリスト
- 化けた状態で上書き保存していないか。保存していなければ、閉じて取り込み機能で開き直せば直る
- 「縺」「繧」「繝」と半角カナが多ければ、UTF-8(65001)を指定して開き直す
- 「�」が並ぶなら、Shift_JIS(932)を指定して開き直す
- 一部だけ「?」なら保存時に情報が失われているので、元ファイルを入手し直す
- Excelでは空白のブックから「テキストまたはCSVから」で開き、元のファイルの文字コードを指定する
- 0から始まる番号の列は、「変更された型」を削除するか「現在のものを置換」でテキスト型にする(または「データ型を検出しない」で読み込む)
- TSVやtxtは、BOMに頼らずデータ取り込みで文字コードと区切り記号「タブ」を指定する
- 他の人がExcelで開くなら「CSV UTF-8(コンマ区切り)」で保存する
- 提出先が指定する文字コードがあれば、それに合わせる
- Shift_JISで渡す場合は、①・㈱・髙・𠮷・絵文字・アクセント付き文字が含まれていないか確認する
- BOMの有無はテキストエディターの文字コード表示で確認し、列のずれはCSV JSON変換で確かめてから送る
よくある質問
GoogleスプレッドシートやMacのNumbersならCSVは文字化けしませんか?
UTF-8のCSVは、これらのアプリで問題なく開けることが多いです。一方、Shift_JISのCSVを読み込むと化けることがあります。アプリの判定に頼るより、ファイルが実際にどちらの文字コードかを確かめるほうが確実です。
BOM付きUTF-8にすると何か困ることはありますか?
プログラムや一部の業務システムは、BOMを普通のデータとして扱います。その場合、先頭の列名に見えない文字が付いたり、取り込みエラーになったりします。システムに登録するCSVは、仕様書で「BOMなしUTF-8」「Shift_JIS」などの指定を確認してください。
文字化けしたまま保存してしまったCSVは元に戻せますか?
文字が「?」に置き換わっている場合、元の文字の情報は残っていないため復元できません。化けた文字列のまま保存した場合も、確実に戻せる方法はありません。元のシステムから書き出し直すか、送り主に再送を依頼するのが確実です。
ファイルの文字コードがUTF-8かShift_JISか調べる簡単な方法はありますか?
メモ帳などのテキストエディターで開くと、画面の下の方に文字コード名が表示されることが多いです。ただし、自動判定が外れる場合もあります。迷ったときは、Excelの取り込み画面で「65001: Unicode (UTF-8)」と「932: 日本語 (シフト JIS)」を切り替え、プレビューが正しく表示されるほうを選ぶのが確実です。
Excelで列の書式を「文字列」にすれば、消えた先頭の0は戻りますか?
戻りません。ダブルクリックで開いた時点で「0012」は数値の12に変換されているため、あとから書式を変えても12が文字になるだけです。元のCSVをデータ取り込みで開き直し、その列をテキスト型にして読み込んでください。