[前][次][番号順一覧][スレッド一覧]

mysql:12433

From: MORIYAMA Masayuki <MORIYAMA Masayuki <msyk@xxxxxxxxxx>>
Date: Fri, 11 Nov 2005 00:37:38 +0900
Subject: [mysql 12433] Re: MySQL 日本語問題吐き出し緊急オフ会 -まとめ

森山です。

まず、私の考えをはっきりさせておきます。

UCS->cp932、UCS->eucjpms で、多対1 の変換をサポートする事に関して異論は
ありません。 glibc 2.3.3 以降、libiconv のパッチでは iconv(3) の cp932,
eucJP-ms は、そのようにしてあります。(Java で SJIS->UCS, EUC_JP->UCS 変
換したデータを変換できるようにしてあります。)

しかし、sjis、ujis に関しては、なるべく標準規格にしたがいつつも UCS 経由
の sjis<->ujis 変換を実現し、他のソフトとも互換性がとれるように、Java
の SJIS、EUC_JP と互換にするのが、今のところ最も妥当なのではないかと考え
ています。

sjis、ujis は次の変換表を使うという事を意味します。

JIS-Unicode間の変換表の選択について
http://hp.vector.co.jp/authors/VA010341/unicode/

On Thu, 10 Nov 2005 20:15:18 +0900
Yasufumi Kinoshita <kinoshita.yasufumi@xxxxxxxxxx> wrote:

> 4.ucs2 → ujis
>     007E → 7E
>     301C → A1C1
>     FF5E → 3F("?") ※c)案 では A1C1 になる

MySQL だけで完結する問題であれば、自由に決めても構わないと思いますが、
ujis を Java の EUC_JP と互換にする場合、上記の c)案の変換はマズイです。

> (※IANA EUC-JP ではこうでしょうか?
>     A1C1   → 301C
>     8FA2B7 → FF5E)

そうなります。
Java の EUC_JP では、そのように変換されます。

> ・・とここまで書きましたが、1文字だけ実用上拙い文字がありますね。
> U+005C \ REVERSE SOLIDUS
> と
> U+FF3C \ FULLWIDTH REVERSE SOLIDUS
> です。
> c)案では消えることはなくなりますが、
> 0xA1C0(ujis) → U+005C(ucs2) → 0x5C(eucjpms)
> 0x5C(eucjpms) → U+005C(ucs2) → 0xA1C0(ujis)
> と逆になってしまいます。。。

MySQL の sjis、ujis は、Unicode コンソーシアムが配布していた変換表を使っ
ていると思われますが、あの変換表は、JIS X 0201 ラテン文字との組合せの場
合の変換表で、なおかつJIS規格とは完全に一致しないので、あれをそのまま使
うと、実用になりませんし、JIS規格とも異なるものになってしまいます。

Unicode コンソーシアムの変換表
ftp://ftp.unicode.org/Public/MAPPINGS/EASTASIA/README.TXT
ftp://ftp.unicode.org/Public/MAPPINGS/OBSOLETE/EASTASIA/JIS/

JIS0208.TXT で、JIS規格と異なるマッピング 
誤: 0x815C	0x213D	0x2015	# HORIZONTAL BAR
正: 0x815C	0x213D	0x2014	# EM DASH

あらためて、まとめますと、実用的な変換は、cp932、eucjpms で実現し、
sjis、ujis は標準規格に出来うる限り従うようにするという事になります。

次の変換は可能とする
  sjis->cp932
  ujis->eucjpms

次の変換はサポートしない
  cp932->sjis
  eucjpms->ujis

-- 
森山将之 (MORIYAMA Masayuki)
e-mail: msyk@xxxxxxxxxx
blog: http://msyk.at.webry.info/

[前][次][番号順一覧][スレッド一覧]

     12372 2005-11-07 18:16 ["Shuichi Tamagawa" <] MySQL 日本語問題吐き出し緊急オフ会 -  まとめ
     12373 2005-11-07 20:17 ┣[Yasufumi Kinoshita <]                                       
     12374 2005-11-07 21:21 ┃┗["Shuichi Tamagawa" <]                                     
     12391 2005-11-08 15:59 ┃ ┗[Yasufumi Kinoshita <]                                   
     12400 2005-11-08 20:50 ┃  ┗["Shuichi Tamagawa" <]                                 
     12402 2005-11-08 21:14 ┃   ┗[Hirofumi Fujiwara <f]                               
     12412 2005-11-09 10:21 ┃    ┣[Hiro Yoshioka <hyosh]                             
     12413 2005-11-09 10:28 ┃    ┃┗[<takeshi@xxxxxxxxxx>]                           
     12414 2005-11-09 10:38 ┃    ┃ ┗[Hiro Yoshioka <hyosh]                         
     12415 2005-11-09 11:56 ┃    ┃  ┗[<takeshi@xxxxxxxxxx>]                       
     12416 2005-11-09 18:43 ┃    ┃   ┗[Hiro Yoshioka <hyosh]                     
     12428 2005-11-10 14:12 ┃    ┃    ┗[<takeshi@xxxxxxxxxx>]                   
     12520 2005-11-30 10:49 ┃    ┣[Tetsuro IKEDA <tetsu]                             
     12525 2005-12-01 13:26 ┃    ┃┗[Hirofumi Fujiwara <f]                           
     12598 2005-12-21 08:20 ┃    ┗[Tetsuro IKEDA <tetsu] メタデータに2バイト目が`(60)の漢字を使用する場合の不具合の件
     12599 2005-12-21 12:43 ┃     ┗[Hirofumi Fujiwara <f]                           
     12377 2005-11-07 23:55 ┣[Tadashi Jokagi <ml@x]                                       
     12399 2005-11-08 20:43 ┃┗["Shuichi Tamagawa" <]                                     
     12378 2005-11-08 00:11 ┣[<takeshi@xxxxxxxxxx>]                                       
     12380 2005-11-08 09:27 ┃┣["Shuichi Tamagawa" <]                                     
     12381 2005-11-08 09:36 ┃┃┗[<takeshi@xxxxxxxxxx>]                                   
     12403 2005-11-08 21:22 ┃┃ ┗[とみたまさひろ <tomm]                                 
     12405 2005-11-08 21:42 ┃┃  ┗[<takeshi@xxxxxxxxxx>]                               
     12397 2005-11-08 20:29 ┃┗["Shuichi Tamagawa" <]                                     
     12401 2005-11-08 21:11 ┃ ┗[とみたまさひろ <tomm]                                   
     12404 2005-11-08 21:27 ┃  ┣[Hirofumi Fujiwara <f]                                 
     12406 2005-11-08 21:52 ┃  ┣[<takeshi@xxxxxxxxxx>]                                 
     12417 2005-11-09 19:46 ┃  ┃┣[とみたまさひろ <tomm]                               
     12418 2005-11-09 20:15 ┃  ┃┃┗[<takeshi@xxxxxxxxxx>]                             
     12419 2005-11-10 11:13 ┃  ┃┃ ┗[Yasufumi Kinoshita <]                           
     12425 2005-11-10 13:21 ┃  ┃┃  ┣[<takeshi@xxxxxxxxxx>]                         
     12429 2005-11-10 14:47 ┃  ┃┃  ┗[MORIYAMA Masayuki <m]                         
     12432 2005-11-10 20:15 ┃  ┃┃   ┗[Yasufumi Kinoshita <]                       
->   12433 2005-11-11 00:37 ┃  ┃┃    ┗[MORIYAMA Masayuki <m]                     
     12435 2005-11-11 19:54 ┃  ┃┃     ┗[Yasufumi Kinoshita <] Re: MySQL 日本語問題吐き出し緊急オフ会 -まとめ 【c案整理】
     12440 2005-11-12 11:48 ┃  ┃┃      ┣[MORIYAMA Masayuki <m]                 
     12441 2005-11-12 12:52 ┃  ┃┃      ┃┗[MORIYAMA Masayuki <m]               
     12442 2005-11-13 14:06 ┃  ┃┃      ┣[MORIYAMA Masayuki <m]                 
     12452 2005-11-14 11:20 ┃  ┃┃      ┃┗[MORIYAMA Masayuki <m]               
     12453 2005-11-14 12:51 ┃  ┃┃      ┃ ┣["Shuichi Tamagawa" <]             
     12462 2005-11-16 11:18 ┃  ┃┃      ┃ ┃┗[MORIYAMA Masayuki <m]           
     12464 2005-11-16 15:05 ┃  ┃┃      ┃ ┃ ┗["Shuichi Tamagawa" <]         
     12454 2005-11-14 15:27 ┃  ┃┃      ┃ ┗[Yasufumi Kinoshita <] Re: MySQL 日本語問題吐き出し緊急オフ会 -まとめ 【c案整理】皆様のご意見をお願いします。
     12461 2005-11-16 03:10 ┃  ┃┃      ┃  ┣[MORIYAMA Masayuki <m]           
     12463 2005-11-16 15:00 ┃  ┃┃      ┃  ┗["Shuichi Tamagawa" <]           
     12466 2005-11-17 11:34 ┃  ┃┃      ┃   ┗[Yasufumi Kinoshita <]         
     12468 2005-11-17 15:46 ┃  ┃┃      ┃    ┗["Shuichi Tamagawa" <]       
     12470 2005-11-17 16:36 ┃  ┃┃      ┃     ┗[Yasufumi Kinoshita <]     
     12473 2005-11-17 17:48 ┃  ┃┃      ┃      ┗["Shuichi Tamagawa" <]   
     12448 2005-11-14 09:14 ┃  ┃┃      ┗["Shuichi Tamagawa" <]                 
     12426 2005-11-10 13:57 ┃  ┃┗["Shuichi Tamagawa" <]                               
     12427 2005-11-10 14:02 ┃  ┃ ┗[<takeshi@xxxxxxxxxx>]                             
     12411 2005-11-09 09:15 ┃  ┗["Shuichi Tamagawa" <]                                 
     12475 2005-11-18 09:48 ┗["Shuichi Tamagawa" <]                                       
     12476 2005-11-18 09:54  ┣["Ryuichiro Munechika]                                     
     12613 2005-12-28 16:59  ┗["Shuichi Tamagawa" <]