数码冲印数码照片网上冲印
站内搜索: 分类: 关键字:
您的位置:首页网站设计.Net专栏 → Single转换成Double时出现误差
Single转换成Double时出现误差
日期:2005-10-30 23:17:26 人气:     [ ]
数码冲印 网上冲印

手头上正在做一套住房公积金管理软件,碰到了数据精度的问题,偶然发现下面的情况:
代码:
Private Sub Command1_Click()
    Dim r1 As Single
    r1 = 0.1

    Dim result As Double

    result = 1 * r1
    Debug.Print result
End Sub

结果输出: .100000001490116
很显然,在计算的过程中,r1被从single转换成double类型后参与了计算,而转换的过程中出现了误差,为验证这一点,我修改了代码:
Private Sub Command1_Click()
    Dim r1 As Single
    r1 = 0.1
   
    Debug.Print CDbl(r1)
End Sub
结果输出: .100000001490116
果然是这样,这个结果让我大出意外,因为我的软件中一部分计算就是把Single类型的利率和Double型的应缴额放在一起进行的,而出现偏差就在所难免了。

为什么会出现误差呢?
MSDN中说:浮点(Single 和 Double)数比 Currency 的有效范围大得多,但有可能产生小的进位误差。

看来为了追求精度,最好把Double类型换成Currency类型,或者把Single类型换成与Double一致。



出处:世纪开元网上冲印搜集整理 作者:佚名
评论人 评论内容摘要(共 条,查看完整内容) 得分 发表时间
本类热点
01.关于vc的mshflexgrid控件的用法(转载:原地址:..
02.用实例学:ASP.NET的include的用法
03.ListView的使用
04.ASP.NET POST方式提交数据!
05.正态分布的随机数发生器 in C#
06.在.net安装程序中部署oracle客户端全攻略
07.蛙蛙推荐:C#编码规范.doc
08.在ASP.NET中处理datetime的一些通用函数(VB)
09.用户 NT AUTHORITY\NETWORK SERVICE 登录失败解决..
10.破译动网验证码的简单方法
本类推荐
网上数码冲印专用QQ:71086443  网上数码冲印专用MSN:photo36588@hotmail.com 网上冲印热线电话:0531-82678928
http://www.36588.com.cn 世纪开元数码照片网上冲印©2001 - 2008
网站地图 | 冲印知识 | 会员利益 | 服务价格 | 质量承诺 | 服务条款 | 隐私政策 | 商业合作 | 关于我们