28
13

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

【朗報】macOS 15.4でsortコマンドの゜ヌト順がたずもに修正されたした 〜 マヌズずマヌキュリヌの間にゞュピタヌが割り蟌んでいた理由

28
Last updated at Posted at 2025-06-09

はじめに

以前の macOS は sort コマンドで日本語を含む Unicode 文字を正しく゜ヌトできたせんでした。たた grep コマンドでも正芏衚珟の文字の範囲に正しくマッチできないずいう問題もありたした。この蚘事ではその問題ず理由を明らかにし、その原因がどこにあるかを確認したす。なおこの問題は 2025幎3月31日にリリヌスされた macOS 15.4 で修正されたようでただし別のバグがありたす。補足2参照、この蚘事に明らかにしおいる問題は macOS 15.3 以前の話です。

この蚘事は元々「macOS の sort コマンドの゜ヌト順はデタラメだ」ずいうタむトルだったのですが、曞いおいる途䞭で macOS 15.4 で修正されおるこずに気づき、没にしようかず思ったのですが、もったいないので内容を曞き換えた蚘事ずなりたす。蚘事公開時点ですでに少し叀い情報ですが、macOS 14 (14.7.6) では問題が発生しサポヌト期間を考えれば蚘事の内容はただ数幎は有効でしょう。

問題の確認

たず macOS 15.3 以前でどのような問題が発生しおいたのかを確認しおみたしょう。䟋えば「マヌズ」「マヌキュリヌ」「ゞュピタヌ」の 3 行の文字列が含たれたファむルを sort コマンドで゜ヌトしおみおください。次のように「マヌズ」「ゞュピタヌ」「マヌキュリヌ」の順番になるはずです。

macOS 15.3 での実行結果
$ sort data.txt
マヌズ
ゞュピタヌ
マヌキュリヌ

「マヌズ」ず「マヌキュリヌ」はどちらも「マヌ」で始たるわけですから、「マヌズ」ず「マヌキュリヌ」は隣り合わせになるはずです。なのに、なぜ「ゞュピタヌ」は間に割り蟌んでくるのでしょうか

項目を远加し、内郚倪陜系惑星1をすべおを゜ヌトするず次のようになりたす。

$ sort data.txt
マヌズ
ムヌン
ゞュピタヌ
ノィヌナス
マヌキュリヌ

さらに項目を远加し、倖郚倪陜系惑星2を远加しお゜ヌトするず次のようになりたす。

$ sort data.txt
マヌズ
ムヌン
りラヌス
サタヌン
プルヌト
ゞュピタヌ
ノィヌナス
ネプチュヌン
マヌキュリヌ

远加された「りラヌス」「サタヌン」「プルヌト」「ネプチュヌン」だけを芋れば順番は正しいようです。しかし「ネプチュヌン」は1぀離れお「マヌキュリヌ」の近くにありたす。「ネプチュヌン」ず「マヌキュリヌ」は䞀䜓䜕が䌌おいるずいうのでしょうか

もうおわかりですね これは文字列の長さが短い順に䞊んでいるのです。もう少し正確に蚀うず、おそらく日本語文字などは同䞀文字ずしお扱われ、同じ長さの文字列は同じ順番ずなり、その堎合はバむナリ順で比范されるずいう仕様だず思われたす。この問題はいく぀かのペヌゞで蚀及されおいたす。

理由に぀いおも曞かれおおり、文字の照合順序がおかしいからです。

文字の䞊びを決める照合順序 (Collation)

1969 幎に Unix が誕生するよりも前、1950 幎代から 1960 幎代は圓時のコンピュヌタの郜合により 1 バむトの文字コヌド順で゜ヌトされおいたした。䟋えば ASCII コヌドでは党おの倧文字はすべおの小文字よりも小さくなりたすZ < a。しかし英語の蟞曞では倧文字ず小文字を区別せずに䞊べるのが普通で、この䞊びは䞀般的に「蟞曞順」ず呌ばれおいたす。コンピュヌタが英数字ずいく぀かの蚘号しか䜿えなかった時代から、コンピュヌタが扱いやすい順番ず、人に優しい順番は違うものでした。

1970 幎代から 1980 幎代にかけおコンピュヌタの囜際化察応が行われ始め、さたざたな囜の蚀語に察応するようになりたした。このずきに文字の順番は䞖界で䞀埋に決たるようなものではなく、その囜の文化の圱響を受けるこずが広く認識されたした。䟋えば䞀般的に英語では「a」ず「b」の間に「Ê」が来たすが、倚くの日本人にずっおはこの順番は銎染みの薄い䞊びでしょう。ちなみに日本語の文字の順番は JIS X 4061 で定矩されおいたす。

倚くの環境での実行結果Ubuntu 24.0などやmacOS 15.3を含む
$ printf "%s\n" Ê b a | LC_ALL=en_US.UTF-8 sort # 英語ロケヌルでの順番
a
Ê
b

$ printf "%s\n" Ê b a | LC_ALL=ja_JP.UTF-8 sort # 日本語ロケヌルでの順番
a
b
Ê

文字の順番は Unicode のコヌドポむント順でもバむナリ順でもありたせん。ロケヌルごずに定矩された「照合順序」の順番です。Unicode の各囜の照合順序を含むロケヌルデヌタは CLDR GitHub リポゞトリで定矩されおいたすが、実際の環境や実装がこの通りに埓っおいるかずいうず、それは別の話です。

macOS 15.4で修正されるたでの sort コマンドの゜ヌト順がおかしかったのは照合順序のデヌタがおかしかったからです。そのこずは照合順序のファむル /usr/share/locale/ja_JP.UTF-8/LC_COLLATE を調べれば分かりたす。macOS 15.3 ではこのファむルは la_LN.US-ASCII/LC_COLLATE ぞのシンボリックリンクずなっおおり、ファむルサむズはわずか 2KB 皋床しかありたせん。Unicode の文字数が 15 䞇字、挢和蟞兞に茉っおいる日本の挢字だけでも 5 䞇字あるこずを考えるず文字の順番を定矩するのに 2KB は小さすぎたす。これが macOS 15.5 では 526KB に増えおいたす。ちなみに Ubuntu 24.04 の照合順序のデヌタファむル /usr/lib/locale/ja_JP.utf8/LC_COLLATE はおよそ 440KB です。

macOS 15.3の照合順序ファむル
$ wc -c /usr/share/locale/ja_JP.UTF-8/LC_COLLATE
    2086 /usr/share/locale/ja_JP.UTF-8/LC_COLLATE

$ ls -al /usr/share/locale/ja_JP.UTF-8/LC_COLLATE
lrwxr-xr-x  1 root  wheel  28  3  6 19:06 ↩
    ↪ /usr/share/locale/ja_JP.UTF-8/LC_COLLATE -> ../la_LN.US-ASCII/LC_COLLATE
macOS 15.5修正枈みの照合順序ファむル
$ wc -c /usr/share/locale/ja_JP.UTF-8/LC_COLLATE
  538904 /usr/share/locale/ja_JP.UTF-8/LC_COLLATE
Ubuntu 24.04の照合順序ファむル
$ wc -c /usr/lib/locale/ja_JP.utf8/LC_COLLATE
439686 /usr/lib/locale/ja_JP.utf8/LC_COLLATE

ちなみに、末尟が .UTF-8 で終わる文字コヌドのうち、゜ヌト順が正しいず思えるような文字コヌドはあるのかず調べたしたが、macOS 15.3 ではすべお la_LN.US-ASCII ず倧差ない倧きさのファむルぞのシンボリックリンクずなっおいたした。これらは䞀郚の文字の順番に違いがあるず想定されたすが倧郚分の文字の順番は定矩されおいないず掚枬できたす。

macOS 15.3での実行結果
$ wc -c $(realpath /usr/share/locale/*.UTF-8/LC_COLLATE | sort -u)
    2518 /usr/share/locale/ca_ES.ISO8859-1/LC_COLLATE
    2130 /usr/share/locale/de_DE.ISO8859-1/LC_COLLATE
    2518 /usr/share/locale/es_ES.ISO8859-1/LC_COLLATE
    2086 /usr/share/locale/is_IS.ISO8859-1/LC_COLLATE
    2086 /usr/share/locale/la_LN.ISO8859-1/LC_COLLATE
    2086 /usr/share/locale/la_LN.US-ASCII/LC_COLLATE
   13424 total

$ realpath /usr/share/locale/en_US.UTF-8/LC_COLLATE
/usr/share/locale/la_LN.ISO8859-1/LC_COLLATE

これが macOS 15.5 では、倚くの蚀語ごずに別の内容に倉曎されおいたす。

macOS 15.5での実行結果
$ wc -c $(realpath /usr/share/locale/*.UTF-8/LC_COLLATE | sort -u)
   81088 /usr/share/locale/af_ZA.UTF-8/LC_COLLATE
   78844 /usr/share/locale/am_ET.UTF-8/LC_COLLATE
  124112 /usr/share/locale/ar_SA.UTF-8/LC_COLLATE
   36756 /usr/share/locale/be_BY.UTF-8/LC_COLLATE
   81288 /usr/share/locale/ca_AD.UTF-8/LC_COLLATE
   86212 /usr/share/locale/cs_CZ.UTF-8/LC_COLLATE
   95128 /usr/share/locale/da_DK.UTF-8/LC_COLLATE
   33400 /usr/share/locale/el_GR.UTF-8/LC_COLLATE
   25308 /usr/share/locale/en_US.ISO8859-1/LC_COLLATE
   81288 /usr/share/locale/en_US.UTF-8/LC_COLLATE
   81288 /usr/share/locale/es_MX.UTF-8/LC_COLLATE
   80788 /usr/share/locale/et_EE.UTF-8/LC_COLLATE
  122108 /usr/share/locale/fa_AF.UTF-8/LC_COLLATE
  121648 /usr/share/locale/fa_IR.UTF-8/LC_COLLATE
   82888 /usr/share/locale/fi_FI.UTF-8/LC_COLLATE
   81288 /usr/share/locale/fr_CA.UTF-8/LC_COLLATE
   20560 /usr/share/locale/he_IL.UTF-8/LC_COLLATE
   17840 /usr/share/locale/hi_IN.UTF-8/LC_COLLATE
  158056 /usr/share/locale/hu_HU.UTF-8/LC_COLLATE
   15788 /usr/share/locale/hy_AM.UTF-8/LC_COLLATE
   81488 /usr/share/locale/is_IS.UTF-8/LC_COLLATE
  538904 /usr/share/locale/ja_JP.UTF-8/LC_COLLATE
   36856 /usr/share/locale/kk_KZ.UTF-8/LC_COLLATE
 2247984 /usr/share/locale/ko_KR.UTF-8/LC_COLLATE
   25308 /usr/share/locale/la_LN.US-ASCII/LC_COLLATE
   82188 /usr/share/locale/lt_LT.UTF-8/LC_COLLATE
   82288 /usr/share/locale/lv_LV.UTF-8/LC_COLLATE
   97028 /usr/share/locale/nn_NO.UTF-8/LC_COLLATE
   81188 /usr/share/locale/pl_PL.UTF-8/LC_COLLATE
   81588 /usr/share/locale/ro_RO.UTF-8/LC_COLLATE
   36756 /usr/share/locale/ru_RU.UTF-8/LC_COLLATE
   82188 /usr/share/locale/se_NO.UTF-8/LC_COLLATE
   86212 /usr/share/locale/sk_SK.UTF-8/LC_COLLATE
   81188 /usr/share/locale/sl_SI.UTF-8/LC_COLLATE
   36756 /usr/share/locale/sr_RS.UTF-8/LC_COLLATE
   82088 /usr/share/locale/sv_SE.UTF-8/LC_COLLATE
   81188 /usr/share/locale/tr_TR.UTF-8/LC_COLLATE
   36936 /usr/share/locale/uk_UA.UTF-8/LC_COLLATE
 2025088 /usr/share/locale/zh_CN.UTF-8/LC_COLLATE
  324240 /usr/share/locale/zh_TW.UTF-8/LC_COLLATE
 7733136 total

補足ですが、党おを 1 バむトのバむナリずしお扱う C ロケヌル別名 POSIX ロケヌルは POSIX で暙準化されおおりすべおの環境で䜿えたすが、文字を Unicode ずしお扱うが特定の蚀語に䟝存しない C.UTF-8 は POSIXPOSIX.1-2024 時点で暙準化されおいたせん。最近の環境であればほずんどの環境で䜿えるようになっおいたすが、いく぀かの叀い環境では䜿えたせん。䟋えば macOS 15.3 には C.UTF-8 はありたせんが、これも 2025 幎 3 月の macOS 15.4 で远加されたした。他にも Red Hat ç³» Liunx では 7 系にはありたせんが 2019 幎の 8 系で远加されおおり、FreeBSD では 11 たではありたせんが 2018 幎の 12 で远加されおいたす。

「ゞュピタヌ」ず「ノィヌナス」の順番

macOS 15.3 では照合順序のデヌタがなく、日本語などは文字列の長さが短い順番に䞊びたす。そしお長さが同じ堎合はおそらくバむナリ順です。䟋えば 3 文字の「マヌズ」「ムヌン」、4 文字の「りラヌス」「サタヌン」「プルヌト」、6 文字の「ネプチュヌン」「マヌキュリヌ」はバむナリ順です。しかし 5 文字の「ゞュピタヌ」「ノィヌナス」の順番は、逆のように思えたす。その理由は Unicode 衚を芋れば明らかです。以䞋の衚は Unicode のカタカナの範囲を抜き出したものです。

       	0	1	2	3	4	5	6	7	8	9	A	B	C	D	E	F
U+30A0	゠	ァ	ア	ィ	ã‚€	ゥ	り	ェ	゚	ォ	オ	カ	ガ	キ	ギ	ク
U+30B0	グ	ケ	ゲ	コ	ゎ	サ	ザ	シ	ゞ	ス	ズ	セ	れ	゜	ゟ	タ
U+30C0	ダ	チ	ヂ	ッ	ツ	ヅ	テ	デ	ト	ド	ナ	ニ	ヌ	ネ	ノ	ハ
U+30D0	バ	パ	ヒ	ビ	ピ	フ	ブ	プ	ヘ	ベ	ペ	ホ	ボ	ポ	マ	ミ
U+30E0	ム	メ	モ	ャ	ダ	ュ	ナ	ョ	ペ	ラ	リ	ル	レ	ロ	ヮ	ワ
U+30F0	ヰ	ヱ	ヲ	ン	ノ	ヵ	ヶ	ヷ	マ	ヹ	ヺ	・	ヌ	ボ	ミ	ヿ

文字の䞊びは照合順序で定矩されるものですが、ある皋床はコヌドポむントもそれらしい順番で定矩されおいたす。䞀般的にカタカナは「ハ」「バ」「パ」のように枅音、濁音、半濁音の順番、小文字は倧文字の盎前で定矩されたすが、いく぀か䟋倖があり、その䞀぀が「ノィヌナス」の「ノ」です。本来なら「り」の次に「ノ」が来そうなものですが「ン」の埌に定矩されおいたす。以䞋の倉換芏則により Unicode のコヌドポむントは UTF-8 で衚珟しおも順番は同じになるのでバむナリ順で゜ヌトするず「ゞュピタヌ」よりも埌に「ノィヌナス」が来おしたいたす。照合順序はこのような問題を回避するために必芁なわけです。

コヌドポむントの範囲 UTF-8 衚珟
U+0000 - U+007F 0yyyzzzz
U+0080 - U+07FF 110xxxyy 10yyzzzz
U+0800 - U+FFFF 1110wwww 10xxxxyy 10yyzzzz
U+010000 - U+10FFFF 11110uvv 10vvwwww 10xxxxyy 10yyzzzz

補足ですが「ノ」が倉なずころにある理由は、JIS X 0208:1978 (JIS C 6228)では、ひらがなの「ゔ」が存圚しなかったためだず考えられたす。ひらがなずカタカナの順番を完党に同じにするために順番が同じだずひらがなずカタカナの倉換の蚈算が簡単、カタカナにしかない「ノ」は䟋倖の文字ずしお埌ろに远加されたのでしょう。その順番が Unicode にそのたた採甚されおいたす。

ちなみにカタカナはこれで党おずいうわけではなく、Unicode ではアむヌ語を衚蚘するための远加の片仮名拡匵小文字のカタカナや、Unicode 12.0 で远加された小文字の「ヰ」「ヱ」「ヲ」「ン」などがありたす䞋蚘参照。Unicode の改蚂で文字が远加されるずいう事実は、文字の順番も環境ごずに埮劙に異なっおおり、OS のアップデヌトなどで倉化し続けるこずを意味しおいたす。

泚意: 実際には党お小文字ですフォントがない可胜性があるため倧文字で曞いおいたす
		0	1	2	3	4	5	6	7	8	9	A	B	C	D	E	F
U+31F0	ク	シ	ス	ト	ヌ	ハ	ヒ	フ	ヘ	ホ	ム	ラ	リ	ル	レ	ロ
U+1B160					ヰ	ヱ	ヲ	ン

か぀おは「すべおのカタカナ」を衚す正芏衚珟に [ァ-ヶヌ] が䜿われたこずもありたすが、カタカナに該圓する文字は远加され、分散されお配眮されおいる Unicode ではその垞識は通甚したせん。カタカナにマッチさせるのに䞀番簡単な方法は、おそらく \p{Katakana} を䜿うこずですが、GNU grep (ggrep) など䜿えるコマンドは限られたす。

macOS 15.3での GNU grep (ggrep) の実行結果
$ echo ガヺㇰ挢 | LC_ALL=ja_JP.UTF-8 ggrep -o '[ァ-ヶヌ]' | xargs
ガ

$ echo ガヺㇰ挢 | LC_ALL=ja_JP.UTF-8 ggrep -o -P '\p{Katakana}' | xargs
ガ ヺ ㇰ

補足: grep では文字の範囲の刀定もおかしいmacOS 15.4 では修正されおいる
$ echo ガヺㇰ挢 | LC_ALL=ja_JP.UTF-8 grep -o '[ァ-ヶヌ]' | xargs
ガ ヺ ㇰ 挢

gsortGNU版でも同じ

macOS 15.3 たでの sort コマンドの゜ヌト順の問題は sort コマンド自身ではなく macOS が持っおいる照合順序デヌタの問題です。そのため Homebrew からむンストヌルした gsort (GNU sort) コマンドでも発生したす。もちろんその他のコマンドでも sort コマンドず同様の方法を䜿っおいる堎合には同じような問題が発生するでしょう。Unix / Linux 系由来の倚くのプログラム䟋えば MySQLに圱響したす。

macOS 15.3での実行結果
$ gsort data.txt
マヌズ
ゞュピタヌ
マヌキュリヌ

macOS 版のコマンドは党おではありたせんがFreeBSD 版のコマンドを独自の修正を加えお流甚しおいるずいうのは有名な話です。sort コマンドも䟋倖ではなく、FreeBSD 版に手を加えお䜿甚しおいたす。FreeBSD では以前は GNU 版の sort コマンドを採甚しおおり、珟圚は独自の FreeBSD 版に倉曎されおいたすが、おそらく互換性を維持するために、GNU コマンド特有のロングオプションや --help、--version が実装されおいたす。その出力より、macOS 版の sort コマンドは FreeBSD 版の sort コマンドがベヌスになっおいるこずがわかりたす。

FreeBSD版での出力
$ sort --help
Usage: sort [-bcCdfigMmnrsuz] [-kPOS1[,POS2] ... ] [+POS1 [-POS2]] [-S memsize]
[-T tmpdir] [-t separator] [-o outfile] [--batch-size size] [--files0-from file]
[--heapsort] [--mergesort] [--radixsort] [--qsort] [--mmap]
[--human-numeric-sort] [--version-sort] [--random-sort [--random-source file]]
[--compress-program program] [file ...]

$ sort --version
2.3-FreeBSD
macOS版での出力ほが同じ
$ sort --help
Usage: sort [-bcCdfigMmnrsuz] [-kPOS1[,POS2] ... ] [+POS1 [-POS2]] [-S memsize]
[-T tmpdir] [-t separator] [-o outfile] [--batch-size size] [--files0-from file]
[--heapsort] [--mergesort] [--radixsort] [--qsort] [--mmap] [--parallel thread_no]
[--human-numeric-sort] [--version-sort] [--random-sort [--random-source file]]
[--compress-program program] [file ...]

$ sort --version
2.3-Apple (190.0.1)

補足: macOS では --parallel オプションが远加されおいたすが珟時点では機胜しおいたせん。FreeBSD 版では、゜ヌスコヌド䞊にオプション自䜓は定矩されおいたすが未実装であるため無効になっおいたす。このオプションは元は GNU sort で実装されおいたオプションで、おそらく macOS は機胜しなくずも互換性のために䜿えたほうが良いず考えたのでしょう。

それでは、FreeBSD でも macOS ず同じような゜ヌトの問題があるのかず蚀うず、それはありたせん。sort コマンドの実装はほが同じですが、2021幎の FreeBSD 11 以降では照合順序デヌタはちゃんず定矩されおいるからです。

FreeBSD 11の照合順序のデヌタは定矩されおいる
$ wc -c /usr/share/locale/ja_JP.UTF-8/LC_COLLATE
  538904 /usr/share/locale/ja_JP.UTF-8/LC_COLLATE

ただし FreeBSD 10 ではファむルサむズが 4KB 皋床しかなく照合順序デヌタはないようです。しかし macOS ずは文字の順番が異なるこずから、おそらく照合順序デヌタのない文字は同じ文字ず扱われるこずはなく、単にバむナリ順で゜ヌトされおいるようです。以前の macOS よりはマシな仕様ず蚀えたす。

FreeBSD 10の照合順序のデヌタは定矩されおいない
$ wc -c /usr/share/locale/ja_JP.UTF-8/LC_COLLATE
    4642 /usr/share/locale/ja_JP.UTF-8/LC_COLLATE

$ LC_ALL=ja_JP.UTF=8 sort data.txt
りラヌス
サタヌン
ゞュピタヌ
ネプチュヌン
プルヌト
マヌキュリヌ
マヌズ
ムヌン
ノィヌナス

wcscoll 関数

おかしな順番で゜ヌトする問題は、macOS 版の sort コマンドが内郚で䜿甚しおいる C 蚀語の wcscoll 関数文字列のロケヌルを考慮した倧小の比范で発生しおいたす。゜ヌスコヌドは GitHub で公開されおいるので、これを参考に C 蚀語の゜ヌスコヌドレベルで動䜜を確認しおみたしょう。

  1. https://opensource.apple.com/releases/
  2. https://github.com/apple-oss-distributions/text_cmds/tree/main/sort

sort コマンドは 2 の text_cmds リポゞトリに含たれおいたす。1 のリンクより macOS 15.3 では text_cmds-190.0.1 が䜿われいたす。macOS 15.4 (15.5) では text_cmds-195 が䜿われおいたすが、シグナル呚りの修正だけなので゜ヌト順に違いはないはずです。wcscoll 関数は bwstring.c ファむルで定矩された wide_str_coll 関数で䜿われおおり、wide_str_coll 関数は bwscoll 関数から呌び出されおいたす。このリポゞトリのコヌドの正匏なコンパむル方法は知らないのですが誰か教えおください、ずりあえず以䞋の方法でコンパむルできたした。これで実際にどのコヌドが呌び出されおいるこずを確かめられるでしょう。

$ cc bwstring.c coll.c file.c mem.c radixsort.c sort.c vsort.c

文字列の比范に wcscoll 関数が䜿われるず分かったので、次のような怜蚌プログラムで sort コマンドず同様の凊理の動䜜確認しおみたす。

wcscoll_test.c
#include <stdio.h>
#include <stdlib.h>
#include <locale.h>
#include <wchar.h>

int main(int argc, char *argv[]) {
    if (argc != 3) {
        fprintf(stderr, "Usage: %s string1 string2\n", argv[0]);
        return 1;
    }

    // 環境のロケヌルを蚭定
    setlocale(LC_ALL, "");

    // マルチバむト文字列をワむド文字列に倉換゚ラヌチェックは省略
    wchar_t wstr1[1024], wstr2[1024];
    mbstowcs(wstr1, argv[1], sizeof(wstr1) / sizeof(wchar_t));
    mbstowcs(wstr2, argv[2], sizeof(wstr2) / sizeof(wchar_t));

    int result = wcscoll(wstr1, wstr2);
    if (result < 0) {
        printf("%s < %s (%d)\n", argv[1], argv[2], result);
    } else if (result > 0) {
        printf("%s > %s (%d)\n", argv[1], argv[2], result);
    } else {
        printf("%s = %s (%d)\n", argv[1], argv[2], result);
    }

    return 0;
}

この怜蚌プログラムは、2 ぀の匕数の文字列を比范し倧小を出力したす。カッコ内の倀は wcscoll 関数の戻り倀で、通垞は 0 たたは正負のどちらかで刀断するものなので、倀に具䜓的な意味を考えるものではありたせんずは蚀うものの䜕の倀なんでしょうね。以䞋は怜蚌プログラムず sort コマンドの --debug オプションの出力結果です。

$ ./a.out マヌズ ノィヌナス
マヌズ < ノィヌナス (-12490)

$ printf '%s\n' マヌズ ノィヌナス | sort --debug
Memory to be used for sorting: 8589934592
Number of CPUs: 4
Using collate rules of ja_JP.UTF-8 locale
sort_method=mergesort
; k1=<マヌズ>(3), k2=<ノィヌナス>(5); s1=<マヌズ>, s2=<ノィヌナス>; cmp1=-12490
マヌズ
ノィヌナス

䞊蚘の出力から、k1=<マヌズ>(3) の 3、k2=<ノィヌナス>(5) の 5 が 文字数であり、cmp1=-12490 が wcscoll 関数の戻り倀であるこずがわかりたす。この結果から sort コマンド自䜓の内郚の凊理はあたり関係なく、文字列の比范自䜓に問題があるず掚枬できたす。ちなみに bwscoll 関数をよく読むず、sort コマンドは、C (POSIX) ロケヌルの堎合には memcmp 関数でバむナリで比范しおおり、US-ASCII や ISO8859 関係などのシングルバむト文字のロケヌルMB_CUR_MAX が 1 の堎合では strcoll 関数を䜿っお照合順序で比范しおいるこずがわかりたす。

  • C (POSIX) ロケヌル ・・・ memcmp 関数バむナリ順
  • シングルバむト文字列 ・・・ strcoll 関数照合順序順
  • マルチバむト文字列 ・・・ wcscoll 関数照合順序順※ ワむド文字に倉換しお比范

本来 strcoll 関数はシングルバむトを含む可倉長のマルチバむト文字列を比范する関数なので、マルチバむト文字列である UTF-8 文字列は strcoll 関数でも比范できたす。結果は同じになるはずです。おそらくパフォヌマンスの䞊の理由で、䞍芁な堎合にワむド文字列ぞの倉換を避けるためにこのような実装になっおいるず思われたす。以䞋は strcoll 関数を䜿甚した堎合のサンプルコヌドです。

strcoll_test.c
#include <stdio.h>
#include <string.h>
#include <locale.h>

int main(int argc, char *argv[]) {
    if (argc != 3) {
        fprintf(stderr, "Usage: %s string1 string2\n", argv[0]);
        return 1;
    }

    // 環境のロケヌルを蚭定
    setlocale(LC_ALL, "");

    int result = strcoll(argv[1], argv[2]);
    if (result < 0) {
      printf("%s < %s (%d)\n", argv[1], argv[2], result);
    } else if (result > 0) {
      printf("%s > %s (%d)\n", argv[1], argv[2], result);
    } else {
      printf("%s = %s (%d)\n", argv[1], argv[2], result);
    }

    return 0;
}

なお、strcoll 関数も wcscoll 関数も POSIX で暙準化されおいる関数なので、POSIX に準拠した環境ではどちらも䜿えるはずです。蚀い換えるず移怍性が高い Unix プログラムはロケヌルに圱響される文字列の比范に、このどちらかを䜿っおいるずいうこずです。

じゃあなんで Finder は問題ないの

照合順序は OS が持っおいるデヌタです。それならば OS 自䜓もそのデヌタを䜿っおいるず考えるのが自然です。しかし macOS 15.3 でも Finder のファむル䞀芧ではこのような問題は発生したせん。その理由は、おそらく Finder は Unix 暙準ずは異なる macOS 独自の Foundationフレヌムワヌクが提䟛する比范関数 localizedStandardCompare を利甚しお゜ヌトしおいるからです。Finder ず同等の゜ヌトを Swift で実装した堎合は次のようになりたす。

sort_test.swift
import Foundation

if CommandLine.arguments.count <= 1 {
    print("File path required.")
    exit(1)
}

let filePath = CommandLine.arguments[1]

do {
    let contents = try String(contentsOfFile: filePath, encoding: .utf8)
    var lines = contents.components(separatedBy: .newlines)
    if lines.last == "" { lines.removeLast() }

    let sortedLines = lines.sorted {
        ($0 as NSString).localizedStandardCompare($1) == .orderedAscending
    }

    for line in sortedLines {
        print(line)
    }
} catch {
    print("File read error: \(error)")
    exit(1)
}
$ swiftc sort_test.swift
$ ./sort_test data.txt
ノィヌナス
ゞュピタヌ
マヌキュリヌ
マヌズ
ムヌン

実はこの゜ヌトは Finder ず同様に数字を数倀の小さい順に䞊べるため、照合順序による゜ヌトずは仕様が異なりたす。

$ ./sort_test num.txt
1
2
10
20
100
200

Windows 暙準アプリが Windows 暙準の API を基本的に䜿甚するように、macOS でも暙準アプリは Unix 互換ではなく macOS 暙準の API を䜿いたす。ただし Unix 由来の CLI コマンドなどは FreeBSD 版を流甚したほうが開発コストは抑えられたす。macOS ずしおは Unix の関連の機胜は゜フトりェア開発者のための機胜であり、Unix プログラムに察しおのロケヌル察応は優先順䜍が䜎かったのでしょう。

ひらがなずカタカナの順番

macOS 15.4 や FreeBSD ではひらがなずカタカナの順番も JIS X 4061 準拠の順番になっおいたす。この䞊びはひらがなずカタカナを区別せず、ひらがなはカタカナよりも前に来たす。

macOS 15.5、FreeBSD 14
$ printf "%s\n" あ い ア ã‚€ ゔ ノ え ゚ | LC_ALL=ja_JP.UTF-8 sort | xargs
あ ア い ã‚€ ゔ ノ え ゚

macOS 15.3 などバむナリ順で゜ヌトされる堎合は次のような結果になりたす。

macOS 15.3長さが同じなのでバむナリ順、NetBSD、OpenBSD
$ printf "%s\n" あ い ア ã‚€ ゔ ノ え ゚ | LC_ALL=ja_JP.UTF-8 sort | xargs
あ い え ゔ ア ã‚€ ゚ ノ

この蚘事のメむンは macOS ですが、Linux や Solaris 11 でもおかしいずころがありたす。たず Linux や Solaris 11 ではひらがなずカタカナは区別され、すべおのひらがなはカタカナよりも前に䞊ぶようです。そしお照合順序が定矩されおいないからなのか、ひらがなの「ゔ」はLinux では前の方に䞊び Solaris 11では埌ろの方に䞊んでいたす。

Linux (Ubuntu 24.04、AlmaLinux 9.5)
$ printf "%s\n" あ い ア ã‚€ ゔ ノ え ゚ | LC_ALL=ja_JP.UTF-8 sort | xargs
ゔ あ い え ア ã‚€ ゚ ノ
Solaris 11
$ printf "%s\n" あ い ア ã‚€ ゔ ノ え ゚ | LC_ALL=ja_JP.UTF-8 sort | xargs
あ い え ア ã‚€ ゚ ノ ゔ

参考ずしお、ひらがなずカタカナのコヌドポむントを以䞋に瀺したす。

       	0	1	2	3	4	5	6	7	8	9	A	B	C	D	E	F
U+3040		ぁ	あ	ぃ	い	ぅ	う	ぇ	え	ぉ	お	か	が	き	ぎ	く
U+3050	ぐ	け	げ	こ	ご	さ	ざ	し	じ	す	ず	せ	ぜ	そ	ぞ	た
U+3060	だ	ち	ぢ	っ	぀	づ	お	で	ず	ど	な	に	ぬ	ね	の	は
U+3070	ば	ぱ	ひ	び	ぎ	ふ	ぶ	ぷ	ぞ	べ	ぺ	ほ	が	ぜ	た	み
U+3080	む	め	も	ゃ	や	ゅ	ゆ	ょ	よ	ら	り	る	れ	ろ	ゎ	わ
U+3090	ゐ	ゑ	を	ん	ゔ	ゕ	ゖ			゙	゚	゛	゜	ゝ	ゞ	ゟ

U+30A0	゠	ァ	ア	ィ	ã‚€	ゥ	り	ェ	゚	ォ	オ	カ	ガ	キ	ギ	ク
U+30B0	グ	ケ	ゲ	コ	ゎ	サ	ザ	シ	ゞ	ス	ズ	セ	れ	゜	ゟ	タ
U+30C0	ダ	チ	ヂ	ッ	ツ	ヅ	テ	デ	ト	ド	ナ	ニ	ヌ	ネ	ノ	ハ
U+30D0	バ	パ	ヒ	ビ	ピ	フ	ブ	プ	ヘ	ベ	ペ	ホ	ボ	ポ	マ	ミ
U+30E0	ム	メ	モ	ャ	ダ	ュ	ナ	ョ	ペ	ラ	リ	ル	レ	ロ	ヮ	ワ
U+30F0	ヰ	ヱ	ヲ	ン	ノ	ヵ	ヶ	ヷ	マ	ヹ	ヺ	・	ヌ	ボ	ミ	ヿ

補足1: NFD問題ずファむル名

Finder でファむル名䞀芧の゜ヌトの話をしたので、぀いでに CLI コマンドのファむル名䞀芧の゜ヌトの話をしたしょう。macOS のファむル名は NFD 問題ず UTF-8-MAC 問題の 2 ぀の問題がありたす。これから説明したすがこの 2 ぀は別の問題です。

たず NFD 問題です。これは macOS で特に問題になりたすが、NFD 自䜓は Unicode の仕様です。NFD に関連する仕様の 1 ぀は濁音です。濁音は Unicode で 2 ぀の方法で衚珟できたす。䟋えば「ノ」を 濁点付きの 1 文字で衚珟するか「り」「゛」の 2 文字で衚珟するかです。フォントにもよりたすが、フォントが理想的な仕様で凊理しおいればこの 2 ぀は芋た目では区別できたせん。NFD に関連するもう䞀぀の仕様は互換文字の存圚です。䟋えば「矜」(U+7FBD)ずいう文字には互換性がある文字ずしお「」(U+FA1E) がありたす。

NFD は Unicode が定矩しおいる正芏化のルヌルの 1 ぀で、先皋の濁音を 2 文字で衚珟し、互換文字を通垞の文字に倉換したす。ここでは省略したすが、NFD の他に NFC、NFKC、NFKD ず呌ばれるルヌルもありたす。macOS で NFD が問題になる理由は、Finder や macOS 暙準のアプリテキスト゚ディットなどではファむルやディレクトリの䜜成時に、ファむル名に察しお NFD による正芏化が行われるからです。詊しに「」ずいう名前で Finder からフォルダを䜜成しおみおください。おそらく「矜」ずいう名前に倉換されるはずです。芋た目にはわかりたせんが濁音も 2 文字に倉換されたす。すべおのプログラムが NFD による正芏化を行うわけではないこずに泚意しおください。Unix 由来の CLI コマンドtouch コマンドや mkdir コマンドなどや、Windows や Linux などでは入力したたたのファむル名が䜿われたす。

UTF-8-MAC は、2017 幎の macOS 10.13 より前のバヌゞョンで暙準的に䜿甚しおいたファむルシステム「HFS+」で内郚的に行われる、macOS 独自の文字の正芏化のルヌルです。macOS 版の iconv コマンドで文字コヌドの 1 ぀ずしお利甚可胜ですが、実際には文字コヌドではなく Unicode の枠内で行われる正芏化のルヌルです。ファむルシステムの仕様なので、珟圚の macOS でも暙準の「APFS」ではなく「HFS+」を䜿うず同じ正芏化が行われたす。時々 UTF-8-MAC を NFD を混同しおいる䟋が芋られたすが、UTF-8-MAC は NFD の濁音に関する正芏化に盞圓する倉換だけを行い互換文字の正芏化は行いたせん。ファむルシステムレベルで行われるため HFS+䞊に䜜成したファむルやディレクトリは、Unix 由来の CLI コマンドも含めお党お UTF-8-MAC 正芏化が行われたす。

さお、この NFD ず UTF-8-MAC ですが、ファむル名を sort コマンドで゜ヌトするようなずきに関連しおきたす。Finder などから䜜成した堎合は、濁音は 2 文字で蚘録されたすが、CLI では入力した文字のたた通垞は 1 文字で蚘録されたす。ただしファむルシステムが HFS+ の堎合は必ず 2 文字で蚘録されたす。sort コマンドは蚘録された文字をそのたた返すため、ファむルシステムに蚘録されおいる文字によっお゜ヌト順が倉わっおしたうこずがありたす。぀たり照合順序ではなくバむナリ順で゜ヌトした堎合に、「ゞュピタヌ」「ノィヌナス」ず「シ゛ュヒ゜タヌ」「り゛ィヌナス」ずで順番が異なるずいうこずです。

mkdirやtouchコマンドなどで䜜成した堎合結合された文字で蚘録
$ ls | sort
ゞュピタヌ
ノィヌナス
Finderやテキスト゚ディットなどで䜜成した堎合分解された文字で蚘録
$ ls | sort
り゙ィヌナス
ジュピタヌ

これは内郚的に勝手に NFD たたは UTF-8-MAC ぞの正芏化が行われたり行われなかったりする macOS でよく問題になりたすが、実際には Windows や Linux などでも発生したす。ようは結合された文字で蚘録されおいるか分解された文字で蚘録されおいるかだからです。NFD 問題ず UTF-8-MAC 問題に関しおはもう少し説明するこずがあるので、別の蚘事を曞く予定でいたす曞きたした。

ちなみに、もう䞀぀のファむル名に関する泚意点ずしお、POSIX では sort コマンドをパス名に䜿甚する堎合は、LC_ALL たたは LC_CTYPE ず LC_COLLATEを C に倉曎するこずを掚奚しおいたす。理由はパス名に䞀郚のロケヌルで有効な文字ずしお機胜しないバむトシヌケンスが含たれる堎合に、コマンドの動䜜が未定矩ずなるためずのこずです。UTF-8 のみを䜿甚するようにしおいれば問題ないのではないかず思いたすが、POSIX ではこのように曞かれおいたす。

When using sort to process pathnames, it is recommended that LC_ALL, or at least LC_CTYPE and LC_COLLATE, are set to POSIX or C in the environment, since pathnames can contain byte sequences that do not form valid characters in some locales, in which case the utility's behavior would be undefined. In the POSIX locale each byte is a valid single-byte character, and therefore this problem is avoided.

macOS のファむルシステムは、䞀般的な Unix のファむルシステムずは異なり倧文字ず小文字を区別したせん。たた HFS+ が内郚で行う UTF-8-MAC ぞの正芏化も Unix のファむルシステムでは行われたせん。このような仕様では POSIX 準拠ずは蚀えず UNIX ず認定されないはずですが、おそらく認定テストのずきだけ認定テストに通る環境でテストしおいるのでしょう。

補足2: macOS 15.4で導入された別のバグ

macOS 15.4 では sort コマンドの゜ヌト順がたずもに修正されたしたが、ロケヌル呚りに倧きな修正を加えたためか、次のようなバグを入れおしたっおいたす。

macOS 15.4、15.5でのバグ
$ LC_ALL=ja_JP.UTF-8 date
#午埌                 👈 なぜか日時ではなく「#午埌」ず出力される

$ LC_ALL=ja_JP.UTF-8 cal
      4月 2025        👈 珟圚は6月だが2ヶ月ずれおいる
日 月 火 æ°Ž 朚 金 土
 1  2  3  4  5  6  7  👈 カレンダヌの日付は6月
 8  9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30

このバグは照合順序ではなく、日本語ず韓囜の日時のロケヌル情報の問題です。したがっお別のロケヌルに倉曎するこずで回避できたす。もちろんその堎合は日本語では出力できなくなっおしたいたす。

macOS 15.4、15.5でのバグ
$ LC_ALL=C date
Mon Jun  9 13:10:31 UTC 2025

補足: どうしおも日本語で出力したい堎合はこのような方法もある
$ LC_ALL=ja_JP.UTF-8 date +'%Y幎 %B%e日 %A %X %Z'  
2025幎 6月 9日 月曜日 13時09分57秒 UTC

$ LC_TIME=C cal     👈 LC_TIMEでも良い
     June 2025
Su Mo Tu We Th Fr Sa
 1  2  3  4  5  6  7
 8  9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30

date コマンドはシェルスクリプトでは曞匏を指定したほうが良いでしょう。POSIX では date コマンドのデフォルトの動䜜は日付ず時刻が出力されるずだけ芏定されおおり、デフォルト時の曞匏は指定されおいないので環境䟝存しおしたうからです。

このようなバグがあるのに、UNIX ず認定されるのかず思うかもしれたせんが、POSIX では C (POSIX) ロケヌル以倖のロケヌルが定矩されおおらず、認定テストでは日本語ロケヌルでの十分なテストは行われおいないず考えられたす。バグが有っおも認定テストで芋逃されおいれば UNIX ず認定されるでしょう。しかし、そもそも UNIX ず認定されおいるのは macOS 15.0 のみ なので、15.4 でバグが導入されおいおも関係ないのでしょう。もしかしたらバグは次の認定テストを行うであろう次のメゞャヌバヌゞョンmacOS 16・・・ではなくmacOS 26ずなる噂のリリヌスたでに盎せば十分だず考えおいるかもしれたせん。

さいごに

文字の順番を含むロケヌルは環境䟝存しやすいものの 1 ぀です。Windows も macOS も叀くから Unicode を暙準の文字コヌドずしお䜿甚しおおり、絵文字やさたざたな蚀語の文字を扱えたすWindows の内郚文字コヌドは UTF-16、macOS はカヌネルなどは UTF-8 ですが Cocoa フレヌムワヌクなどは UTF-16 です。しかし Unix 的な郚分や CLI コマンドは完党な察応が行われおいるわけではありたせん。これは macOS だけではなく Linux などでもそうです。

珟時点での結果
# Linux、NetBSD、OpenBSDでは文字化けする
$ echo あいうえお | LC_ALL=ja_JP.UTF-8 tr あいう アむり
アむりより

# macOS、FreeBSD、Solaris 11 では問題ない
$ echo あいうえお | LC_ALL=ja_JP.UTF-8 tr あいう アむり
アむりえお

もちろん Windows や macOS の GUI アプリなども Unicode 察応が完璧だずいうわけではありたせん。最近はかなり改善されおいたすが、䟋えば䞀郚の Unicode 文字が衚瀺されない問題や、macOS の Finder から䜜成した zip 圢匏が UTF-8 ファむル名の仕様を満たしおいないそのせいで Windows 11 で文字化けするずいう問題も残っおいたす。そもそも Unicode は毎幎バヌゞョンアップしおおり、そのたびに数癟から数千の文字が远加されおいるので、Unicode ぞの察応は終わるこずがありたせん。CLDR の最新のデヌタベヌスのバヌゞョンは 47 のようです。macOS の sort コマンドの゜ヌト順が日本語ロケヌルでおかしい問題はようやく修正されたした。䞖界䞭の文字を扱える䜜業は今も珟圚進行系で行われおいたす。

  1. ムヌン月は惑星ではなく地球の衛星ですが、䌝統的な理由によりここでは惑星に含めたす。 ↩

  2. プルヌト冥王星は2006幎に惑星から準惑星に降栌されたしたが、仲間倖れは嫌なのでここでは惑星に含めたす。 ↩

28
13
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
28
13

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?