平塚です。

> > VALUES ..., ..., ...の部分は多くても128MBです。
> > （bulk_insert_buffer_size=128Mにしています。あふれたらエラーになるはずで
> > すが、エラーになっていません）

いくつかデータを作って実験してみたところ、興味深い結果がでました。

INSERT ... VALUES ..., ..., ... ON DUPLICATE KEY UPDATE ...のSQLは、
「VALUES ..., ..., ...」←ここで一度にバルクINSERT (or UPDATE)する行数の
二乗に比例した時間がかかります。

レコード長100バイト、13万レコードのテーブルで
INSERT ... ON DUPLICATE KEY UPDATEをすると、
一度に処理する行数に対して処理時間が以下のようになりました。

125行：0.06秒
250行：0.26秒
500行：1.01秒
1,000行：4.04秒
2,000行：16.09秒
4,000行：64.00秒 (このときのテスト用SQL文は453KB)

I/Oも少しは出ていますが、こちらの環境ではほぼCPUネックです。
きっと内部アルゴリズムがとても残念な実装になっているのだと思います。


> > VALUES ..., ..., ...の部分は多くても128MBです。

ということで
ここを数十KBにおさえて、繰り返し実行するようにするとどうでしょうか。


よろしくお願いいたします。

-- 
平塚貞夫 hiratsuka.sadao@xxxxxxxxxx
NTTコムウェア株式会社 プロジェクト管理統括部 技術SE部門 DB技術グループ
Tel:043-211-2318 Fax:043-211-5064