その他
誤差
基本
内部の計算に小数の出てくる単位を使わない。表示時のみ変換し、表示に使用した数値からピクセルに戻すようなことをしないこと。例:mm、dmm、inchではなくピクセルを使う。
掲示板からの引用
まず「小数点以下の数字にならないように設計する」のが一番。どうしてもやむを得ずの場合でも
- 整数と整数の四則演算の結果の少数
- 少数と整数、少数と少数の四則演算
やりかたとしては、つぎの2つがあると思います。
(1)2進数と10進数の変換誤差が出ないように計算も10進数でおこなう。
(2)表示時に桁数を制限する。
理想は(1)だと思います。Java だと Decimal 関連でしょうか。しかし、これは Java にかぎらずなかなかコストがかかります。CPUのクロックがいくら高くなってもこれがなぜかなかなか はやりません。
重要なのは、案件を満たすために、誤差をどのように扱うかです。
そして、その方法は、「どこの桁で[切り上げ|切り捨て|四捨五入]するか」を決めることそれだけですよ。
2006年12月15日(金) 18:25:19 Modified by n0gam0ga