12.1.0.18878版本求和bug

在做数据求和时,1514个0.4求和为605.599999999983而不是605.6,用数据透视表,如果直接数值列放在求和项,也是605.599999999983,而如果行区域有其他列,就等于605.600000000004了。感觉是浮点数精度问题导致的。

湖北省
浏览 131
收藏
2
分享
2 +1
4
+1
全部评论 4
 
HC.旋
确实是
· 福建省
回复
 
梁博云
梁博云

@金山办公

是的,0.4在二进制里面不能准确表示
· 广东省
1
回复
梁博云
梁博云

@金山办公

0x3fd9999999999999 是 0.39999999999999997 给有效数字加个1 变成 0x3fd999999999999a 就跳到 0.40000000000000002 了
· 广东省
1
回复