2019-08-17から1日間の記事一覧
「Floatだと丸め誤差が発生するから10進数を扱う精度が低い」 「BigDecimalだと丸め誤差が発生しないから10進数を扱う精度が高い」 という話に触れたのだが、その理由がぱっと理解できなかったので、ちょっと整理して考えてみた。*1 *1:Rubyに限ったトピック…
「Floatだと丸め誤差が発生するから10進数を扱う精度が低い」 「BigDecimalだと丸め誤差が発生しないから10進数を扱う精度が高い」 という話に触れたのだが、その理由がぱっと理解できなかったので、ちょっと整理して考えてみた。*1 *1:Rubyに限ったトピック…