2012年4月18日水曜日

丸める

頭ではなく,小数の話.

「2.5は2に,3.5が4 になっていた.四捨五入ではなさそうだし・・・」
との質問が来た.
エクセルで作ったデータをアクセスにインポートしたとき,浮動小数点数を整数型に入れたらしい.
もちろんエラーにはすぐ気付いて浮動小数点に直したわけだが.
「あぁ,それは『近い偶数に丸める』という仕様ですよ.」
「なにそれ.」
「なんか誤差の累積を防ぐ工夫らしいということを聞いたことがあるが,どうしてそれで誤差が累積しないのか,自分もよく知らない.CPU 自体がそうなっていると思う.」
こういうことも計算機科学の成果なのかな.

検索したらいろいろ出てきたけど,まぁ,それで世の中のうまいこと行くのだろうw

0 件のコメント:

コメントを投稿

「コメントの記入者:」は「匿名」ではなく,「名前/URL」を選んで,なにかニックネームを入れてください.URL は空欄で構いません.