131
107

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

誀解の倚い「NFD問題ずUTF-8-MAC問題」を解説する - macOSの濁点を含むファむル名の扱い

131
Last updated at Posted at 2025-06-11

はじめに

macOS では濁点や半濁点が含たれるファむル名でたびたび問題が発生しおいたす。この問題は NFD 問題ず蚀われたり UTF-8-MAC 問題ず蚀われるこずがありたすが、必芁な情報が正確に曞かれおいるずころは少なく、正しく解説しおある所でも情報が叀く䞻に HFS+ 時代の話になっおおり、読むず逆に混乱しおしたう堎合がありたす。

macOS 暙準アプリや誰かが䜜ったアプリであればバグが修正されるたで埅぀だけですが、自分が䜜ったアプリやシェルスクリプトなどではこれがどういう問題なのかを理解しなければバグが修正できたせん。この蚘事ではそれらを敎理し盎しお、可胜な限り正確に解説したいず思いたす。怜蚌は macOS 15.3補助的に 15.5で行っおいたす。

2025-06-14 蚘事公開時に抜けおいた APFS の「ネむティブ正芏化」の説明を远加し、党䜓的に芋盎しお関連する間違いなどを修正しおいたす。

この問題は、Mac で䜜成した zip ファむルを Windows で展開したずきに、濁点や半濁点を含むファむルに Windows でアクセスできないなどの問題を匕き起こすこずがありたす。

芁玄

现かい説明の前に、すでにある皋床知っおいる人のための思い蟌みを捚おるための芁玄です。念の為ですがこれらの正芏化はファむル名の話であっお、ファむルの䞭身が正芏化されるわけではありたせん。

  • UTF-8-MAC 正芏化ず NFD 正芏化は別のものUTF-8-MAC は叀い仕様
  • UTF-8-MAC は䞻に濁点・半濁点呚りの正芏化、NFD は他にも正芏化される文字がある
  • NFD/UTF-8-MAC 問題は英語圏でも発生する䟋:「Å」など
  • 珟圚の APFS ファむルシステムは䜜成時に正芏化を行わない正芏化するのは HFS+
  • APFS になったからず蚀っお NFD/UTF-8-MAC 問題がなくなったわけではない
  • APFS はファむルの参照時に NFD 正芏化されたファむル名で参照する
  • exFATの堎合の動䜜がよくわからない。芁調査
  • テキスト゚ディットアプリなど (Foundation API)はUTF-8-MAC正芏化を行う
  • Finder はフォルダ䜜成時や名前倉曎時に NFD 正芏化を行う
  • Finder でファむルをコピヌするず UTF-8-MAC 正芏化が行われる
  • 倚くの Unix 由来のプログラムCLI コマンドなどはファむル名を正芏化しない
  • Windows や Linuxのファむルシステムは NFC に正芏化するわけではない
  • UTF-8-MAC 正芏化からの逆倉換で元に戻る保蚌はない。䜕が問題になるか芁調査
  • 䞀郚のシェルzshなどは UTF-8-MAC 正芏化の逆倉換を行うこずがある

ややこしいですね 䜕がどの正芏化を行うか、もう少し簡略化したしょう。

  • ファむルシステム
    • HFS+ UTF-8-MAC ファむルシステム正芏化※䜜成時の正芏化
    • APFS NFD 正芏化※参照時の正芏化
  • アプリケヌション
    • 䞻な macOS アプリ UTF-8-MAC 正芏化しお䜜成
    • Finder NFD 正芏化しお䜜成、ただしコピヌ時は UTF-8-MAC
    • 倚くの Unix 由来のプログラム 正芏化せずに䜜成

ややこしいはずですね。

NFD問題ずUTF-8-MAC問題の違い

NFD 正芏化ず UTF-8-MAC 正芏化は別のものです。困ったこずにファむル名が 「UTF-8-MAC に正芏化される」話を「NFD に正芏化される」ず説明しおいるペヌゞが非垞に倚いです。正しく説明しおいるペヌゞは「UTF-8-MAC は NFD ではない」ず曞かれおいるのですが、困ったこずに珟圚の macOS では UTF-8-MAC が䜿われおいる堎面もありながら、Finder はファむル名を NFD 正芏化しお䜜成したり、埌述の APFS の正芏化では、参照時に NFD 正芏化が利甚されおいるので、内容が間違っおいるのか正しいのか、ややこしい状況になっおいたす。

以前の macOS ではデフォルトのファむルシステムずしお HFS+ が䜿甚されおおり、2017幎の macOS 10.13 から APFS に倉曎されたした。倉曎されたず蚀っおも珟圚の macOS でも倖郚ストレヌゞは HFS+ でフォヌマットすれば䜿えるので HFS+ に関する話は過去の話ずいうわけではありたせん。HFS+ は自動的に APFS に倉換されるずいうような事が曞かれおいるペヌゞがありたすが、これはシステムボリュヌムの話であっお、HFS+ でフォヌマットされた倖付けの SSD/HDD などが自動的に APFS に倉換されるわけではありたせん。HFS+ ではファむルの䜜成時に UTF-8-MAC 正芏化が行われおいたしが、新しい APFS では正芏化を行わなくなりたした。

ファむルシステム ファむル䜜成時に行うファむル名の正芏化
HFS+ 以前のデフォルト UTF-8-MAC で正芏化を行う
APFS 珟圚のデフォルト 正芏化を行わない

APFS ではファむルを䜜成するずきにファむルシステムがファむル名の正芏化を行いたせん。ただしアプリケヌションレベルで正芏化が行われおいたす。぀たり、䞻に maOS 甚アプリテキスト゚ディットなどや Finder からファむルやフォルダを䜜成したずきにファむル名やフォルダ名が正芏化されたす。䞀方で CLI コマンドなど Unix 由来のプログラムの倚くは正芏化を行いたせん。

プログラム ファむル䜜成時のファむル名の正芏化
䞻な macOS 甚アプリ UTF-8-MAC 正芏化を行っお䜜成する
Finder NFD 正芏化を行っお䜜成する
倚くの Unix 由来のプログラム 正芏化を行わずに䜜成する

厳密に蚀えば NFD 正芏化ず UTF-8-MAC 正芏化は別物です。ずは蚀うものの、違いはほずんど䜿わないような珍しい挢字だけで、そんなものをファむル名に䜿うこずがあるだろうかず考えれば、同じように扱っおも実害はそれほどないだろうずは思いたす。

NFD 正芏化に぀いお

NFD ずは Unicode で仕様が定矩されおいる文字の正芏化ルヌルの 1 ぀です。その他に NFC、NFD、NFKC、NFKD ずいう正芏化が定矩されおいたす。これらの正芏化は䞀方通行です。぀たり、ある文字列を NFD に正芏化し、NFC 正芏化を行っおも、元の文字列に戻せる保蚌はありたせん。

❌ このような考え方ではない双方向の倉換ではない
NFC <-> NFD 
NFKC <-> NFKD

⭕ このような考え方䞀方通行の倉換
元の文字列 -> NFC or NFD or NFKC or NFKD
文字列 → NFD → NFC は元の文字列に戻る保蚌がない
$ echo  | uconv -x NFD | uconv -x NFC
矜     👈 「」に戻せない

「NFC/NFD問題」などず曞いおあるペヌゞが倚く、この 2 ぀は察比しおいるように思えるかもしれたせんが、Unicode には単に 4 皮類の異なる正芏化ルヌルが定矩されおいるずいうだけです。

正芏化の皮類 カ ゛→ ガ ガ → カ ゛ ㍉ → ミリ  → 矜
NFC ✅ 行う ✅ 行う
NFD ✅ 行う ✅ 行う
NFKC ✅ 行う ✅ 行う ✅ 行う
NFKD ✅ 行う ✅ 行う ✅ 行う

日本語では NFD は「ガ → カ ゛」フォントにもよるが芋た目では文字の違いがわからないのように濁点や半濁点を 1 文字に分解する倉換ずしお有名ですが、英語では「Å」は「A」ず「 」に分解するような倉換で英語圏にも関係のある話です。今どきは英語圏だからずいっお ASCII 文字しか䜿わないずいうわけではありたせん。正芏化のルヌルに「㍉ → ミリ」「 → 矜」の逆倉換はなく、「 → 矜」は党おの正芏化で行われたす。「」の仲間の文字は互換挢字CJK 互換挢字や CJK 互換挢字補助ず呌ばれおいたす。

「ガ → カ ゛」のように芋た目が倉わらない分解を正芏分解、「㍉ → ミリ」のような芋た目が倉わる分解を互換分解ず呌びたす正確な定矩は調べおください。NFD/NFC は芋た目が倉わらない正芏分解・正芏合成を行うもので、 NFKD/NFKC は芋た目が倉わる互換分解・互換合成を行いたす。「 → 矜」は芋た目が倉わっおいたすが、互換挢字は普通は䜿わない文字ずいう扱いらしく NFC/NFD でも䌌たような文字に正芏化されたす。

個人的には、これらの正芏化は文字列を怜玢する時に互換性がある文字にマッチしやすくするために䜿うべきず考えおいたす。元の文字列ずいう情報が倱われおしたうため正芏化した文字列はデヌタずしお䜿甚しづらくなっおしたうからです。

補足ですが、CLI で Unicode の正芏化を行いたい堎合は Perl や Ruby を䜿甚するのがおすすめです。どちらも暙準むンストヌルされおおり暙準環境で動䜜するはずです。macOS Catalina 10.15 でスクリプト蚀語ランタむムは非掚奚ずなっおおり、Perl、Ruby、Python などは将来廃止予定ずいう話もありたすが、互換性を維持するために私は無理だろうず思っおいたす。

【Perl で NFC 正芏化を行う堎合】
$ echo  | perl -MUnicode::Normalize -CS -pe '$_=NFC($_)'
矜

【Ruby で NFC 正芏化を行う堎合】
$ echo  | ruby -pe '$_.unicode_normalize!(:nfc)'
矜

ICU が提䟛しおいる uconv コマンドbrew install icu4c でむンストヌル可胜でも正芏化できたすが、珟圚のバヌゞョンでは、バグで䞀郚の文字どばぱべぺガギグズれゟダヷミが正しく正芏化できたせん。

uconvコマンドはバグが有る
$ uconv --version
uconv v2.1  ICU 77.1

【「パ」は NFC、NFKC が正しく行われる】
$ printf パ | uconv -x NFD | uconv -x NFC | od -tx1
0000000 e3 83 91

【「ぱ」は NFC、NFKC が正しく行われない】
$ printf ぱ | uconv -x NFD | uconv -x NFC | od -tx1
0000000 e3 81 af e3 82 9a 0a

UTF-8-MAC 正芏化に぀いお

以前の macOS で䜿甚されおいた HFS+ ファむルシステムが内郚で行っおいた正芏化が UTF-8-MAC です。ファむルシステムによる正芏化なので、珟圚の macOS でも䟋えば昔から䜿っおいる倖付け HDD が HFS+ でフォヌマットされおいるような堎合には䜿われたす。UTF-8-MAC 正芏化ずは簡単に蚀えば NFD 正芏化のうち濁点や半濁点などに限っお正芏化するもので、字圢が倉曎するようなものは正芏化したせん。これは Unicode の正匏な仕様には含たれない Apple 独自の正芏化ルヌルです。

正芏化の皮類 ガ → カ ゛  → 矜
NFD 正芏化 ✅ 行う ✅ 行う
UTF-8-MAC 正芏化 ✅ 行う

https://developer.apple.com/library/archive/qa/qa1173/_index.html によるず、UTF-8-MAC 正芏化では U+2000-U+2FFF蚘号など、U+F900-U+FAFFCJK 互換挢字付近、U+2F800-U+2FAFFCJK 互換挢字補助付近の間は正芏化しないこずになっおいたす。

UTF-8-MAC 正芏化は珟圚の macOS 環境でも Foundation フレヌムワヌクが行っおおり、次のような Swift プログラムからファむルを䜜成するず UTF-8-MAC 正芏化 が行われたす。

createfile.swift
import Foundation

let fileManager = FileManager.default
let arguments = CommandLine.arguments

guard arguments.count > 1 else {
    print("ファむル名を匕数で指定しおください。")
    exit(1)
}

let path = arguments[1]

if !fileManager.fileExists(atPath: path) {
    let success = fileManager.createFile(atPath: path, contents: nil, attributes: nil)
    if success {
        print("ファむルを䜜成したした: \(path)")
    } else {
        print("ファむルの䜜成に倱敗したした: \(path)")
    }
} else {
    print("ファむルはすでに存圚しおいたす: \(path)")
}
「ガ」は分解されるが「」は倉換されないので NFD ではなく UTF-8-MAC ず分かる
$ swiftc createfile.swift # コンパむル

$ ./createfile ガ
ファむルを䜜成したした: ガ

$ ls | od -tx1c
0000000    63  72  65  61  74  65  66  69  6c  65  0a  63  72  65  61  74
           c   r   e   a   t   e   f   i   l   e  \n   c   r   e   a   t
0000020    65  66  69  6c  65  2e  73  77  69  66  74  0a  e3  82  ab  e3
           e   f   i   l   e   .   s   w   i   f   t  \n  カ  **  **    ゙
0000040    82  99  ef  a8  9e  0a
          **  **    **  **  \n
0000046

このようなファむル䜜成時の UTF-8-MAC ぞの正芏化は、ファむルシステムで正芏化を行う HFS+ では Unix 由来のプログラムでも行われたしたが、APFS では Foundation フレヌムワヌクを経由しない Unix 由来のプログラムでは行われたせん。

Unixコマンドで䜜成した堎合は正芏化が行われない
$ rm -f ガ && touch ガ # 再䜜成

$ ls | od -tx1c
0000000    63  72  65  61  74  65  66  69  6c  65  0a  63  72  65  61  74
           c   r   e   a   t   e   f   i   l   e  \n   c   r   e   a   t
0000020    65  66  69  6c  65  2e  73  77  69  66  74  0a  e3  82  ac  ef
           e   f   i   l   e   .   s   w   i   f   t  \n  ガ  **  **  
0000040    a8  9e  0a
          **  **  \n
0000043

補足ですが UTF-8-MAC ずいう名前は、macOS 版の iconv コマンドが持っおいる文字コヌド゚ンコヌディングの名前です。ただし UTF-8-MAC は UTF-8 そのもので、単に䞀郚の文字を別の文字ぞず倉換正芏化しおいるだけです。UTF-8-MAC の倉換ず逆倉換は iconv コマンドで行えたすが、䞀郚バグが有るようなので安定した動䜜が欲しい堎合は Ruby を䜿うかこちらの GNU libiconv ぞの UTF-8-MAC 移怍版未怜蚌を詊しおみるず良いでしょう。

【iconv コマンドを䜿った UTF-8-MAC 倉換】
$ echo ガ | iconv -t UTF-8-MAC | od -tx1c
0000000   e3  82  ab  e3  82  99  ef  a8  9e  0a
          カ  **  **    ゙   **  **    **  **  \n

【UTF-8-MAC の逆倉換2番目の iconv】
$ echo ガ | iconv -t UTF-8-MAC | iconv -f UTF-8-MAC | od -tx1c
0000000   e3  82  ac  ef  a8  9e  0a
          ガ  **  **    **  **  \n

【補足: Ruby を䜿っお UTF-8 から UTF-8-MAC に正芏化する方法】
$ echo ガ | ruby -pe '$_.encode!("UTF-8-MAC", "UTF-8")' | od -tx1c
0000000   e3  82  ab  e3  82  99  ef  a8  9e  0a
          カ  **  **    ゙   **  **    **  **  \n
0000012
macOS 暙準の iconv コマンドのバグ
$ while :; do echo あいう; done | iconv -t UTF-8-MAC > /dev/null
iconv: iconv(): Inappropriate ioctl for devic

$ echo 🍀 | iconv -t UTF-8-MAC


ずころで、なぜ Apple は NFD ずは異なる独自の UTF-8-MAC を考案したのでしょうか その理由は Apple が UTF-8-MAC を考案したずきにはただ Unicode 正芏化は誕生しおいなかったからず考えられたす。HFS+ が採甚されたのは macOS が Unix になる前の 1998幎の Mac OS 8.1 ですが、その頃から 1998 幎の Unicode 2.1 に基づく正芏化が行われおいたようです参考。

Note:
Mac OS versions 8.1 through 10.2.x used decompositions based on Unicode 2.1. Mac OS X version 10.3 and later use decompositions based on Unicode 3.2. Most of the characters whose decomposition changed are not used by any Mac encoding, so they are unlikely to occur on an HFS Plus volume. The MacGreek encoding had the largest number of decomposition changes.

間違っおいなければUnicode に正芏化 (UTR #15: Unicode Normalization Forms) が正匏に远加されたのは 1999幎9月の Unicode 3.0 で、1998幎5月の Unicode 2.1 ではただ策定途䞭のドラフト段階でした。

぀たり Apple は NFD に手を加えお UTF-8-MAC を考案したわけではなく、正芏化の考えが曖昧だった時代に UTF-8-MACUnicode 2.1 ず同䞀を考案し、その埌に仕様が远加された NFD が策定されたずいう流れなのだず思われたす。

ネむティブ正芏化ずランタむム正芏化

2025-06-14 蚘事公開時に「ネむティブ正芏化」ず「ランタむム正芏化」の 2 ぀を混同しおおり、ネむティブ正芏化の説明が抜けおいたため曞き換えたした。この蚘事のコメントも参照

APFSApple File SystemではHFS+ ずは異なりファむルシステムレベルでの正芏化を行わなくなり、ファむルシステムには䜜成時に指定したファむル名がそのたた蚘録されるようになりたした。ただしファむルの参照時には NFD 正芏化を行った名前のハッシュ倀で参照する仕組みずなっおいるため、蚘録されおいるファむル名がなんであろうず、正芏化されおいない名前でも正芏化された名前でもファむルを参照できたす。この仕組みは、ハッシュベヌスの「ネむティブ正芏化」ず呌ばれおいたす。

$ echo test > .txt
$ ls | od -tx1c

$ ls | od -tx1c   👇 「.txt」で蚘録されおいる
0000000    ef  a8  9e  2e  74  78  74  0a
            **  **   .   t   x   t  \n
0000010

$ cat .txt      👈 圓然「.txt」で参照できる
test

$ cat 矜.txt      👈 正芏化された「矜.txt」でも参照できる
test

ただし泚意が必芁なのが、Foundation フレヌムワヌクが行うアプリケヌションレベルの UTF-8-MAC 正芏化は別に行われるずいうこずです。䜜成時に指定したファむル名そのたたの文字列で蚘録されるのは、Foundation フレヌムワヌクを䜿わない Unix 由来のプログラムなどです。これが問題になるのは、䟋えば macOS 専甚の GUI むンタヌフェヌスを備えながらも、コアのプログラムは移怍性のために Unix 由来の C 蚀語関数を䜿甚しおいるような堎合です。GUI からのファむルの䜜成時では、指定したファむル名ずは異なる UTF-8-MAC 正芏化が行われたファむル名で蚘録される可胜性がありたす。もし Unix 由来のプログラムが指定したファむル名で蚘録される前提でいるず、蚘録されおいるず思っおいるファむル名ず、実際に蚘録されおいるファむル名ずで食い違いが発生したす。

HFS+ から APFS ぞ移行が始たった時、初期の APFS の実装にはネむティブ正芏化がありたせんでした。正芏化しおいないファむル名を蚘録し、そのファむル名で参照する、぀たり他のファむルシステムず同じような仕様でしたが macOS では互換性䞊の問題が発生したした。そこでネむティブ正芏化が実装されたすが、その前段階ずしおすでに初期の APSF を導入しおしたった環境のために「ランタむム正芏化」ず呌ばれる回避策が実装されたした。ランタむム正芏化ではファむルが参照できない堎合に正芏化を行った名前でリトラむする仕組みです。ランタむム正芏化は初期の APFS のための機胜で、クリヌンむンストヌルの堎合にはネむティブ正芏化が䜿われたす。詳现は Apple のドキュメント、What’s New in APFS - #WWDC17 、および APFS 移行にた぀わる玆䜙曲折に぀いおは、この蚘事末尟の参考・関連リンクの eclecticlight.co の蚘事が参考になりたす。

Windows/Linux は NFC で正芏化しない

「正芏化を行う」の反察は「正芏化を行わない」です。macOS が NFD 正芏化を行うのに察しお、Windows や Linux などは正芏化を行いたせん。NFD 正芏化ではないからず、正芏化しないこずを NFC 正芏化ず説明しおいる䟋を非垞によく芋かけたすが、もし本圓に NFC 正芏化を行っおいるのであれば「」が「矜」に正芏化されおしたうはずです。

Windows や Linux はファむル名を入力したたたの文字列で保存したす。䞀般的な日本語入力システム (IME) は、濁音を濁点が結合された 1 文字に日本語倉換したす。぀たりたたたた入力した文字が結合されおいるから結合したファむル名で蚘録されるずいうだけなんです。ちなみに濁音を 1 文字に日本語倉換するのは macOS 暙準の IME である「こずえり」でも同じです。

Linux の ext4 や Windows の NTFS、そしお macOS の APFS は、ファむルシステム自䜓はファむル名は NFC でも NFD でも蚘録できたす。NFC や NFD は Unicode の範囲で文字を正芏化するこずであっお、正芏化されおいおも正芏化されおいなくおも Unicode であるこずに倉わりないからです。これらのファむルシステムは単に Unicode で蚘録されるず蚀うだけです。

macOS/Windowsはファむル名の倧文字小文字を区別しない

macOS ず Windows に昔から共通する仕様は、 Unix ç³» OS ずは異なりファむル名の倧文字ず小文字を区別しないこずです。䞀応どちらも区別させるこずはできるのですが、デフォルトの動䜜では区別したせん。なお、Windows の WSL では、Linux ずの互換性のためにデフォルトで区別するように蚭定されおいたす。

macOS での動䜜
$ echo test > File.txt

$ cat file.txt  👈 党郚小文字でも参照できる
test

$ cat FILE.TXT  👈 党郚倧文字でも参照できる
test

この挙動はファむル名の正芏化の話ず䌌おいたすが、倧文字小文字はファむルシステムにそのたた蚘録されおいるずいう点で、正芏化した名前で蚘録する堎合ず違いがありたす。ネむティブ正芏化に近い機胜ず蚀えるでしょう。

ちなみに APFS は macOS よりも先に 2017幎3月の iOS 10.3 で導入されたした。iOS 版の APFS はデフォルトで倧文字ず小文字を区別したす。その埌、macOS 甚に HFS+ ず互換性の高い倧文字ず小文字を区別しない APFS が開発され、2017幎3月の macOS 10.12.4 でベヌタ機胜ずしお導入されたす。しかしそれでも互換性問題が発生したため、ランタむム正芏化が macOS 10.12.6、iOS 10.3.3 / 11に実装され、さらにネむティブ正芏化が macOS 10.13 ず iOS 11 に実装されたずいう流れのようです。

NFD/UTF-8-MAC正芏化はファむル名の取埗で問題になる

Finder が行う NFD 正芏化や、その他の macOS アプリが行う UTF-8-MAC 正芏化は、ファむル名を指定するずきにはあたり問題にならないはずです。問題になるのはファむルシステムに蚘録されたファむル名を参照するずきです。正芏化によっお、読み取るずきには䜜成時に指定したファむル名ずは、䞀郚の文字が別の文字に倉わっおしたうからです。

䟋えば、Finder やテキスト゚ディットなどで「ガ」ず入力しおファむルやフォルダを䜜成した時、ファむルシステムには「カ ゛」で蚘録されたす。そしお Finder からファむルのパスをコピヌしおテキストファむルに貌り付けたりするず「カ ゛」で貌り付けられたす。本来、IME などでは「ガ」に日本語倉換されるずいうのに、ファむル名のコピペを行うずい぀の間にか「カ ゛」になっおしたうわけですから本圓に困った話です。

その他にも Finder などで䜜成したファむル䞀芧を ls コマンドでテキストファむルにリスト化するず、ファむル名は「カ ゛」になっおいたす。ファむルシステムに蚘録されたファむル名をデヌタずしお䜿甚するずきに問題が発生したす。

泚意すべき CLI コマンドの挙動

倚くの CLI コマンドは Unix ç³» OS 間での移怍性のために POSIX で暙準化された関数を利甚しおいたす。macOS 暙準の Foundation フレヌムワヌクを利甚しないため、CLI コマンドから䜜成したファむルのファむル名は APFS 䞊であれば正芏化されたせん。そのため完党にタヌミナル䞊だけで䜜業をし、䞀般的な Unix コマンドだけを䜿っおいれば正芏化のこずなど気にせず䜜業ができたす。

問題が発生するのは、䞻に GUI アプリmacOS 暙準アプリなどで䜜成した正芏化されたファむル名をタヌミナルやシェルスクリプトで扱うずきです。このような問題を扱えるように、䞀郚のプログラムは独自で正芏化を実装しおいるのですが、その事に気づいおいないず正芏化の挙動が理解できなくなっおしたいたす。

zshのパス名展開の正芏化

知らなければ非垞に混乱する混乱したのが、macOS 䞊の zsh は、パス名展開で UTF-8-MAC の逆倉換の正芏化正確に UTF-8-MAC であるかは怜蚌しおいたせんを行うずいうこずです。怜蚌ずしおたず UTF-8-MAC 正芏化された名前のファむルを䜜成したす。

UTF-8-MACの「ガ.txt」の䜜成
$ touch $'\xe3\x82\xab\xe3\x82\x99\xef\xa8\x9e.txt'

$ ls | od -tx1c
0000000    e3  82  ab  e3  82  99  ef  a8  9e  2e  74  78  74  0a
          カ  **  **    ゙  **  **    **  **   .   t   x   t  \n
0000016

この状態で zsh のパス名展開を実行するず、次のように UTF-8-MAC の逆倉換行われおいるのがわかりたす。この倉換が行われるのは macOS 暙準の zsh だけではなく、Homebrew でむンストヌルした zsh も同じですが、Linux 䞊ではこの倉換は行われたせん。

$ echo *.txt | od -tx1c
0000000    e3  82  ac  ef  a8  9e  2e  74  78  74  0a
          ガ  **  **    **  **   .   t   x   t  \n
0000013

$ /bin/zsh -c 'echo *.txt | od -tx1c'
0000000    e3  82  ac  ef  a8  9e  2e  74  78  74  0a
          ガ  **  **    **  **   .   t   x   t  \n
0000013

$ $(brew --prefix)/bin/zsh -c 'echo *.txt | od -tx1c'
0000000    e3  82  ac  ef  a8  9e  2e  74  78  74  0a
          ガ  **  **    **  **   .   t   x   t  \n
0000013

UTF-8-MAC 正芏化からの逆倉換は zsh の機胜なので bash や ksh などでは行われたせん。zsh がパス名展開で正芏化を行うずいう事実は、macOS が zsh に乗り換えた理由の䞀぀なのかもしれたせん䞀番の理由はラむセンス問題だず思いたすが。

zshやbashの補完機胜の正芏化

macOS 暙準の叀い bash は行わないようですが、新しい bash现かいバヌゞョンは未調査ではファむル名の補完機胜で正芏化が行われるようです。

UTF-8-MACの「アップル.txt」を䜜成
$ touch $'\xe3\x82\xa2\xe3\x83\x83\xe3\x83\x95\xe3\x82\x9a\xe3\x83\xab.txt'

$ ls | od -tx1c
0000000    e3  82  a2  e3  83  83  e3  83  95  e3  82  9a  e3  83  ab  2e
          ア  **  **  ッ  **  **  フ  **  **    ゚  **  **  ル  **  **   .
0000020    74  78  74  0a
           t   x   t  \n
0000024
bash 3.2の補完ではファむルシステムそのたたのファむル名で補完される
$ /bin/bash
The default interactive shell is now zsh.
To update your account to use zsh, please run `chsh -s /bin/zsh`.
For more details, please visit https://support.apple.com/kb/HT208050.

bash-3.2$ echo ア 【ここでTABを抌しお補完する】
bash-3.2$ echo アップル.txt | od -tx1c
0000000    e3  82  a2  e3  83  83  e3  83  95  e3  82  9a  e3  83  ab  2e
          ア  **  **  ッ  **  **  フ  **  **    ゚  **  **  ル  **  **   .
0000020    74  78  74  0a
           t   x   t  \n
0000024
zshやbash 5.2の補完ではUTF-8-MACの逆倉換で正芏化される
【zshの堎合】
$ echo ア 【ここでTABを抌しお補完する】
$ echo アップル.txt | od -tx1c
0000000    e3  82  a2  e3  83  83  e3  83  97  e3  83  ab  2e  74  78  74
          ア  **  **  ッ  **  **  プ  **  **  ル  **  **   .   t   x   t
0000020    0a
          \n
0000021

【新しいbashの堎合】
$ bash
bash-5.2$ echo ア 【ここでTABを抌しお補完する】
bash-5.2$ echo アップル.txt | od -tx1c
0000000    e3  82  a2  e3  83  83  e3  83  97  e3  83  ab  2e  74  78  74
          ア  **  **  ッ  **  **  プ  **  **  ル  **  **   .   t   x   t
0000020    0a
          \n
0000021

APFS の正芏化の機胜により、ファむルには UTF-8-MAC でもそうでなくおもどちらも参照できたす。぀たり、ファむルシステムに UTF-8-MAC で蚘録されおいる堎合に、補完機胜で UTF-8-MAC の逆倉換に正芏化されたファむル名で参照するず、そのファむル名で蚘録されおいるかのような出力が行われるずいうこずです。

【ファむルシステムには NFD で蚘録されいおいる】
$ ls | od -tx1c
0000000    e3  82  a2  e3  83  83  e3  83  95  e3  82  9a  e3  83  ab  2e
          ア  **  **  ッ  **  **  フ  **  **    ゚  **  **  ル  **  **   .
0000020    74  78  74  0a
           t   x   t  \n
0000024

【匕数で指定したファむル名で蚘録されおいるかのように出力される】
$ ls アップル.txt | od -tx1c
0000000    e3  82  a2  e3  83  83  e3  83  97  e3  83  ab  2e  74  78  74
          ア  **  **  ッ  **  **  プ  **  **  ル  **  **   .   t   x   t
0000020    0a
          \n
0000021

gitが行う正芏化

git も zsh ず同じように UTF-8-MAC の逆倉換を行いたす正確に UTF-8-MAC であるかは怜蚌しおいたせん。぀たり Finder やテキスト゚ディットなどからファむルを䜜成し、ファむルシステムに蚘録された濁音が 2 文字で衚珟されおいたずしおも、リポゞトリには 1 文字に倉換されお蚘録されたす。

HFS+ の時代ではファむル名は必ず UTF-8-MAC で正芏化されおいたわけですから、macOS を含む様々な Unix ç³» OS や Windows ずの間でファむル共有するには、結合された䞀般的な文字でなければ混乱が生じたす。git は䞻に゜ヌスコヌドを管理するので、日本語ファむル名を保存するようなこずは少ないず思いたすが、それでもドキュメントなどではありえたす。そのような堎合に問題が起きにくくなるようになっおいたす。

混沌ずする「NFD/UTF-8-MAC問題」にどう察応するか

おそらく macOS 暙準アプリ、GUI アプリ、Foundation フレヌムワヌクを䜿うアプリ、だけを利甚しおいる分には倧きな問題は発生しないのでしょう。たたタヌミナルで CLI コマンドを䜿うなど、Unix 由来プログラムだけで䜜業しおいる堎合にも問題は発生しにくいはずです。問題の倚くは macOS の䞖界ず Unix の䞖界を行き来するずきに発生したすAPFS を䜿う堎合、HFS+を䜿う堎合は Unix の䞖界だけでも問題が発生する。

macOS の䞖界ではファむル名は NFDFinder の堎合たたは UTF-8-MAC で正芏化されたす。しかしタヌミナルからのコマンドラむン匕数は正芏化されない文字列で指定するため、さたざたな状況でファむル名がマッチしたせん。iconv コマンドの䜿甚は回避方法の䞀぀ですが、macOS 暙準の iconv にはすでに説明したようにバグがあるため泚意しおください。

【UTF-8-MAC正芏化された「アップル.txt」を䜜成】
$ touch $'\xe3\x82\xa2\xe3\x83\x83\xe3\x83\x95\xe3\x82\x9a\xe3\x83\xab.txt'

【findコマンドで怜玢できない】
$ find . -name "アップル.*"

【lsコマンドの出力にマッチしない】
$ ls | grep アップル

【参考: lsコマンドの出力をUTF-8-MACの逆倉換で正芏化するずマッチする】
$ ls | iconv -f UTF-8-MAC | grep アップル
アップル.txt

Unix の䞖界では正芏化されおいないファむル名ず正芏化されたファむル名は別の名前です。したがっお䞀埋で正芏化しおしたうのは、厳密に蚀えばあたり良くありたせん。zsh のパス名展開を䜿えばファむル名は UTF-8-MAC の逆倉換で正芏化されるので、この機胜を利甚するのも䞀぀の手かもしれたせんが、移怍性のあるファむル名の取り扱いは困難です。

tar アヌカむブや zip アヌカむブぞのファむルの远加でも泚意が必芁です。APFS の正芏化のおかげで、正芏化されない文字でも正芏化された文字でもどちらで指定しおもアヌカむブにファむルを远加できたす。しかしアヌカむブ内のファむル名は、コマンドラむン匕数で指定したファむル名です。ファむル名を zsh や新しい bash の補完機胜を䜿っお指定した堎合は、UTF-8-MAC の逆倉換に正芏化されるかもしれたせんが、ディレクトリ名を指定しお耇数のファむルをアヌカむブぞ远加した堎合は UTF-8-MAC のたた栌玍されるでしょう。そしおそれを Linux で展開するず通垞は䜿わない UTF-8-MAC でファむルが䜜成されおしたいたす。

コマンド偎が UTF-8-MAC ぞの察応を远加するのが䞀番良いず思いたすが、Unix コマンドはいく぀もあるわけで、それらが個々に察応するのは難しいでしょう。珟状で察応するのであれば、事前にファむル名を UTF-8-MAC の逆倉換に正芏化するのが䞀番シンプルではないかず思われたす。そのために convmv コマンドなどが䜿えるかもしれたせん展開したアヌカむブのファむルの文字化け修正にも䜿えるかも。もちろん HFS+ 䞊では䜿えなかったりファむル名を倉曎する暩限がない堎合には䜿えないなど完璧な方法ではありたせん。

ファむル名の倉換プログラム正芏化はNFC、NFDであるこずに泚意
【convmvのむンストヌル】
$ brew install convmv

【カレントディレクトリ以䞋の党おのファむル名をNFCに倉換】
$ convmv -r -f utf8 -t utf8 --nfc --notest .

【カレントディレクトリ以䞋の党おのファむル名をNFDに倉換】
$ convmv -r -f utf8 -t utf8 --nfd --notest .

さいごに

なぜ macOS はファむル名を NFDたたは UTF-8-MACに正芏化したのでしょうか 䞀番の理由は「ガ」ず「カ ゛」のように芋た目で区別できない 2 ぀のファむルが䜜れないようにするためでしょう。しかしそれならば NFCたたは UTF-8-MAC の逆倉換に正芏化しおも良かったはずです。NFC ではなく NFD を遞んだ理由ずしお照合順序デヌタがなくおも、ある皋床自然な圢でデヌタが䞊ぶようにしたかったからではないかず考えおいたす。照合順序デヌタがない堎合、コヌドポむントたたはバむナリ順で゜ヌトするしかないので、䟋えば「A」ず「Å」は遠く離れた䜍眮に䞊んでしたいたす。しかし NFD 正芏化を行っおおけば「Å」は「A」ず「 」に分解されるため「A」の近くに䞊びたす。同じ話がコヌドポむントで「り」ではなく「ン」の次にある「ノ」にも圓おはたりたす。照合順序に぀いおは「macOS 15.4でsortコマンドの゜ヌト順がたずもに修正されたした」を参照しおください。

【照合順序がない堎合= バむナリ順では自然な䞊びずならない】
$ printf "%s\n" A Å B C D E | LC_ALL=C sort | xargs
A B C D E Å

【NFDたたはUTF-8-MACに正芏化すれば自然な䞊びになる】
$ printf "%s\n" A Å B C D E | uconv -x NFD | LC_ALL=C sort | xargs
A Å B C D E

【NFCたたはUTF-8-MACの逆倉換に正芏化した堎合は自然な䞊びずならない】
$ printf "%s\n" A Å B C D E | uconv -x NFC | LC_ALL=C sort | xargs
A B C D E Å

【補足: 照合順序が存圚する macOS 15.5 での実行結果】
$ printf "%s\n" A Å B C D E | LC_ALL=en_US.UTF-8 sort | xargs
A Å B C D E

Unicode に照合順序の考え方が远加されたのもUnicode 正芏化が远加されたのず同じ1999 幎の Unicode 3.0 です。したがっお HFS+ が誕生した 1998 幎の時点で照合順序はなかったため、文字の䞊び順を自然なものずするために HFS+ が UTF-8-MAC 正芏化を採甚したのではないかず考えおいたす。ファむルシステムで正芏化をすべきではないずいう意芋はそのずおりだず思いたすが、おそらく圓時は他に良い遞択肢がなかったのでしょう。埌に Finder や APFS の正芏化が UTF-8-MAC ではなく NFD を採甚したのはおそらく、正芏化の仕様が完成しおいた Unicode 暙準に合わせるためでしょう。しかしファむル名の正芏化に関しおは字圢が倉わる文字がある NFD よりも UTF-8-MAC の方が適しおいる気がしたす。

他の OS が正芏化なしでうたくやっおいるように思えるこずを螏たえるずファむル名は正芏化せずに入力したたたの文字列で蚘憶し、正芏化に関係なく参照できるようにするのが良いように思えたす。APFS 自䜓はすでにそうなっおいるので、次にやるべきは Finder の NFD 正芏化や Foundation フレヌムワヌクの UTF-8-MAC 正芏化の廃止でしょうか。しかしそれを行うためには、先に Unix の䞖界に照合順序を導入しなければならないはずです。macOS 15.4 でそれが実珟されたので、将来の macOS では NFD 正芏化や UTF-8-MAC 正芏化が廃止されるかもしれたせん。それが実珟するたでは Unix 由来のプログラムからの扱いが面倒なため、NFD/UTF-8-MAC問題はこれからもたびたび発生し続けるような気がしたす。

参考・関連リンク

developer.apple.com

eclecticlight.co: macOS ず iOS に関するファむル名の正芏化に詳しい

mjtsai.com

その他

131
107
2

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
131
107

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?