virtuoso计算器计算值不正确

yumenfengchen · 发表于 2023-6-12 23:31:04

您需要登录才可以下载或查看，没有账号？注册

x

我再virtuoso计算器里输入10^10，结果明显不对，这是什么问题是由计算值限制么？

登录/注册后可看大图

dongming · 发表于 2023-6-12 23:51:42

整数数据溢出了
你试试 10**10.0或者10.0**10

yumenfengchen · 发表于 2023-6-13 00:10:21

dongming 发表于 2023-6-12 23:51
整数数据溢出了
你试试 10**10.0或者10.0**10

啊~果然是，加上小数结果就对了。那整数结果的范围不能改么？

amodaman · 发表于 2023-6-13 05:46:25

数据类型的定义：
int的范围: -(2e31-1) ~ (2e31-1)

long long的范围: -(2e64-1）~ （2e64-1）

32位数据溢出，截取后换算成10进制就是 1410065408。在C/C++代码中类型换成 long long，或者用双精度浮点数，就不会溢出。

[求助] virtuoso计算器计算值不正确