森山です。

On Thu, 10 Nov 2005 11:13:36 +0900
Yasufumi Kinoshita <kinoshita.yasufumi@xxxxxxxxxx> wrote:

> ここでの問題は変換する元と先で確実に(ＪＩＳ上)存在しているのに、ucs2を介すると
> 消えてしまう文字があることだと考え、表題のオフ会では
> 
> > c) Unicode -> JIS系文字コードへの変換
> 
> を挙げさせて頂きました。
> 
> 上記の問題が解決したとしてもなお、文字が壊れたり無くなったりするのであれば、
> それはその文字コードで想定されていない文字を使っているか、
> その文字コードとucs2との変換表の不具合だと思います。

IANA の charset の定義によれば、

Shift_JIS = JIS X 0201:1997 (ラテン文字+片仮名) + JIS X 0208:1997
EUC-JP    = US ASCII + JIS X 0208-1990 + JIS X 0201 片仮名 + JIS X 0212-1990

となっています。

ここで UCS の変換で問題となってくるのは、次の点です。

(1) 0x00〜0x7F を JIS X 0201 ラテン文字とするのか、US-ASCII とするのか?
(2) JIS X 0212 を含めるのか否か?

この辺の問題は、次のページに詳しく取り上げられています。
http://euc.jp/i18n/ucsnote.ja.html#ascii

(2) に関しては、CP932、eucjpms との関係を考えると、次のような問題が生
じてきます。

本来、IANA の定義に従った EUC-JP では、JIS X 0212 2区23点 TILDE を 
US-ASCII の TILDE と区別するために、FULLWIDTH TILDE U+FF5E に対応付け
されます。

しかし、cp932 などの UCS とのマッピングでは、JIS X 0208 1区33点 WAVE
DASH (〜) を UCS の FULLWIDTH TILDE U+FF5E と対応付けしているため、

  cp932 → UCS → EUC-JP

という変換を行うと、次のような変換がされてしまい、区点位置が保存されま
せん。

  〜 0x8160(cp932) → U+FF5E(UCS) → 0x8FA2B7(EUC-JP)

ですので、「Unicode -> JIS系文字コードへの変換」で、多対1 の変換を行っ
て、Unicode マッピングの違いを吸収できるのは、JIS X 0212 を含まない、
cp932、sjis もしくは、U+FF5E FULLWIDTH TILDE が JIS X 0208 WAVE DASH 
にマッピングされる eucjpms になります。

EUC-JP には、JIS X 0212 が含まれていて、U+FF5E FULLWIDTH を JIS X 0212 
の TILDE と対応付けすべきなので、残念ながら違いを吸収できません。

という事で、UCS 経由では ujis<->eucjpms という変換は、元々不可能な変換
であると考えておく必要があります。

‖森山 将之 (MORIYAMA Masayuki)
‖e-mail: msyk@xxxxxxxxxx