在编写一个带有表示为BigDecimal的值的测试时,我遇到了一些奇怪的事情并决定深入研究它。简而言之,当舍入到两位小数时,'0.00009'将返回0.01而不是0.00。真。这是我的脚本/控制台捕获:
>> bp = BigDecimal('0.09')
=> #<BigDecimal:210fe08,'0.9E-1',4(8)>
>> bp.round(2,BigDecimal::ROUND_HALF_DOWN).to_f
=> 0.09
>> bp = BigDecimal('0.009')
=> #<BigDecimal:210bcf4,'0.9E-2',4(8)>
>> bp.round(2,BigDecimal::ROUND_HALF_DOWN).to_f
=> 0.01
>> bp = BigDecimal('0.0009')
=> #<BigDecimal:2107a8c,'0.9E-3',4(12)>
>> bp.round(2,BigDecimal::ROUND_HALF_DOWN).to_f
=> 0.0
>> bp = BigDecimal('0.00009')
=> #<BigDecimal:2103428,'0.9E-4',4(12)>
>> bp.round(2,BigDecimal::ROUND_HALF_DOWN).to_f
=> 0.01
>> bp = BigDecimal('0.000009')
=> #<BigDecimal:20ff0f8,'0.9E-5',4(12)>
>> bp.round(2,BigDecimal::ROUND_HALF_DOWN).to_f
=> 0.0
哦,如果我使用默认模式,我会得到相同的结果,如下所示:
>> bd = BigDecimal('0.00009')
=> #<BigDecimal:2152ed8,'0.9E-4',4(12)>
>> bd.round(2).to_f
=> 0.01
以下是我的版本:
ruby 1.8.6 (2008-03-03 patchlevel 114) [i686-darwin9.2.2]
Rails 2.3.4
有没有人见过这样的东西?
答案 0 :(得分:6)
不,以前从未见过这个,它看起来确实像个错误。 0.00009
舍入到小数点后两位,绝对应该是0.00
。
ROUND_HALF_DOWN
不应该改变行为,因为你没有处理中点值。
This link有更多详情。
这似乎是1.8级中的一个错误,已在1.9中修复。这有点奇怪,因为它似乎只影响在第一个非零数字之前具有偶数个零的数字,并且只有当该数字为5或更大时才会这样。
根据提供的数据,这似乎完全您的问题。
答案 1 :(得分:0)
我认为,这也是一个错误,但我想知道的是显示结果的.to_f。使用BigDecimal,你应该使用.to_s('F'),因为我猜你有理由使用BigDecimal而不是Floats。