使用tcl做一个简单的减法运算，expr 284.268 - 284.244, 为什么结果是0.023999 ?

wuqin · 发表于 2024-9-29 11:14:38

您需要登录才可以下载或查看，没有账号？注册

x

本帖最后由 wuqin 于 2024-9-29 13:42 编辑

（已解决）使用tcl做一个简单的减法运算，expr 284.268 - 284.244, 为什么结果是0.023999 ?

acrofoxAgain · 发表于 2024-9-29 11:37:46

浮点误差啊。大部分十进制小数都无法用浮点数精确存储。就好比用十进制写出1/3的小数是一个无限循环小数一样，用二进制表示0.024也是一个无限循环小数，截断后转换成十进制数就得到你看到的结果。

wuqin · 发表于 2024-9-29 13:38:16

acrofoxAgain 发表于 2024-9-29 11:37
浮点误差啊。大部分十进制小数都无法用浮点数精确存储。就好比用十进制写出1/3的小数是一个无限循环小数一 ...

谢谢，我截断后就看起来正常了

[求助] 使用tcl做一个简单的减法运算，expr 284.268 - 284.244, 为什么结果是0.023999 ?