修复由于四舍五入导致的VBSCRIPT不准确的数学结果

时间:2010-03-29 04:08:22

标签: math vbscript

尝试在.VBS文件中运行它

MsgBox(545.14-544.94)

你得到0.199999999999932的简洁答案!

不幸的是,这个舍入问题也出现在 Sin(2 * pi)中,因为VB只能看到(用户定义的)变量pi与 3.14159265358979 一样准确。

手动舍入(并且失去准确性)是改善结果的唯一方法吗?处理这类问题的最有效方法是什么?

1 个答案:

答案 0 :(得分:2)

这就是浮点数的工作方式,可以预期很小的不准确性。为了获得更好的输出,最简单的方法是将结果显示为更少的数字。