Wiki内検索
メニューバーA
タグ
心に残る名言集
最近更新したページ
2013-03-24
2012-12-28
2012-11-23
2011-12-28
2011-12-10
2011-11-04
2011-05-04
2010-08-01
2010-07-29
2010-07-27
2010-06-15
2010-05-22
2010-05-06
2010-04-01
2010-03-28
2010-03-25
2010-03-12

その他

誤差

基本

内部の計算に小数の出てくる単位を使わない。表示時のみ変換し、表示に使用した数値からピクセルに戻すようなことをしないこと。
例:mm、dmm、inchではなくピクセルを使う。

掲示板からの引用

まず「小数点以下の数字にならないように設計する」のが一番。
どうしてもやむを得ずの場合でも
    • 整数と整数の四則演算の結果の少数
は認めても
    • 少数と整数、少数と少数の四則演算
は絶対におきないようにすることが肝要です。

やりかたとしては、つぎの2つがあると思います。
(1)2進数と10進数の変換誤差が出ないように計算も10進数でおこなう。
(2)表示時に桁数を制限する。

理想は(1)だと思います。Java だと Decimal 関連でしょうか。しかし、これは Java にかぎらずなかなかコストがかかります。CPUのクロックがいくら高くなってもこれがなぜかなかなか はやりません。

重要なのは、案件を満たすために、誤差をどのように扱うかです。
そして、その方法は、「どこの桁で[切り上げ|切り捨て|四捨五入]するか」を決めることそれだけですよ。
2006年12月15日(金) 18:25:19 Modified by n0gam0ga




スマートフォン版で見る