fix()函数出错

楚卓清 · 发表于 2024-12-25 15:24:39

您需要登录才可以下载或查看，没有账号？注册

x

登录/注册后可看大图

如图中所示，fix()函数出现一个奇怪的bug，xe=0.004，但是fix(xe/0.001)却等于3，后面试了fix(0.004/0.001)=4，有没有哪位大佬知道这是啥原因

着着着火了 · 发表于 2024-12-27 09:09:10

floating数是以二进制的形式存储，你看到的是0.004，实际上是0.399999999999999这种近似值，用fix2()处理

楚卓清 · 发表于 2024-12-30 14:28:04

着着着火了发表于 2024-12-27 09:09
floating数是以二进制的形式存储，你看到的是0.004，实际上是0.399999999999999这种近似值，用fix2()处理 ...

多谢，的确如此，fix2()可以

[求助] fix()函数出错