엑셀 숫자 불일치 해결법, 부동소수점 오류 완벽 해설
안녕하세요,
IT 전문 블로거입니다.
많은 사람들이 엑셀에서 수치 계산을 하다 보면 한 가지 공통적인 문제를 마주칩니다. 바로 두 셀의 값이 서로 같아 보이지만 수식을 통해 비교하면 틀린 것처럼 보이는 경우죠.
예를 들어, A1 셀과 B1 셀에 똑같은 숫자 `1.2` 를 입력한다고 칩시다. 하지만 공식으로 그 둘을 비교할 때 =A1=B1 이라고 하면 의외로 `FALSE` 가 나올 수 있습니다. 이게 바로 우리가 오늘 다룰 주제를 이야기합니다.
엑셀의 숫자와 컴퓨터의 생각은 달랐습니다
이 문제를 이해하는 핵심은 우리가 숫자라고 생각하는 시스템과 컴퓨터가 실제로 데이터를 저장하고 처리하는 방식의 차이 때문입니다.
우리는 일상을 살면서 `0` 부터 `9` 까지의 10 진법을 사용합니다. 하지만 컴퓨터 내부에서는 이진수인 2 진법 (비트 0 과 1) 을 기반으로 동작합니다.
여기서 중요한 점이 하나 있습니다. 우리가 흔히 사용하는 소수점 숫자들 중 일부, 예를 들어 `0.1`(절반일 수의 절반처럼 생각하기 쉽지만) 이나 `0.2`, 그리고 `1/3` 와 같은 값들은 이진법으로 정확하게 저장될 수 없습니다. 컴퓨터는 이를_approximation_, 즉 근사값으로 저장해야 합니다.
이때 발생하는 아주 미세한 오차를 가리키는 용어가 바로 ‘부동소수점 오류 (Floating-Point Error)’ 입니다. 겉보기엔 숫자가 비슷해도 0 뒤에 몇 개의 0 이 붙은 뒤 미미하게 차이가 나기 때문에, 컴퓨터가 직접 비교를 했을 때 정확히 일치하지 않는 결과로 이어집니다.
수식에서 나타나는 전형적인 오류 사례
엑셀의 부동소수점 오류는 주로 두 가지 경우로 나뉩니다. 하나는 ‘반올림 문제’이고, 다른 하나가 바로 이 ‘부동소수점 오류’입니다.
첫 번째인 반올림 문제는 엑셀의 ‘숫자 포맷’ 때문입니다. 셀에 `0.0` 까지 소수점을 보여준다 했다고 가정해 봅시다. A1 에는 실제 값이 `1.234` 라도 표시만 안되어 보이게 됩니다. 하지만 이 경우 수식으로 체크하게 되면 틀린 것처럼 보입니다.
두 번째인 부동소수점 오류는 포맷 설정이 아니라 데이터 자체의 저장 구조 문제입니다. 예를 들어 0.1 을 계산했을 때 컴퓨터 내부에서는 `0.10000000000000001` 과 같이 저장됩니다. 이 미세한 차이가 누적되면 결과 값에 불일치가 발생할 수 있습니다.
왜 비교가 안 될까요? 해결책은?
실제로 이러한 문제를 겪는 경우가 많습니다. 계산된 금액과 실제 입력된 금액을 비교할 때, 엑셀에서는 =D5=F5 나라고 하면 `FALSE` 가 나오는 상황이 발생할 수 있습니다. 이때 우리가 할 수 있는 가장 현실적인 해결책은 무엇일까요?
바로 ROUND 함수를 사용하는 것입니다.
수식을 이렇게 변경해 보세요: =ROUND(D5, 2) = F5
D5 셀의 값을 두 자리 소수점으로 정밀하게 반올림한 후, F5 와 비교하도록 합니다. 이 방법은 D5 셀의 원본 데이터는 건드리지 않으면서, 표시상과 계산상의 차이를 해결해 줍니다. 또한, ‘반올림하여 표시’ 라는 기능을 사용할 수도 하지만 공식적으로 권장되지는 않습니다.
반올림을 사용하면 숫자가 정확히 일치하도록 만들 수 있으므로, 재무제표 작성이나 예산 정산처럼 정밀도가 중요한 작업이라면 ROUND 함수를 사용하는 것이 훨씬 안전합니다.
결론: 엑셀 사용 팁
우리가 일상에서 겪는 엑셀 오류의 대부분은 단순한 기능 오류가 아니라, 컴퓨터가 숫자를 다루는 기본 원리에 기인합니다.
따라서 중요한 데이터 비교를 하려면 항상 `FALSE` 가 나오면 해당 셀에 미세한 오차가 있는지 확인해야 합니다.
또한, 계산 과정에서 정밀도가 떨어지기 전에 너무 일찍 반올림하지도, 반대로 너무 늦게 처리하지도 않도록 주의하세요.
엑셀은 강력한 도구이지만 컴퓨터의 한계를 이해하는 것이 더욱 중요합니다. 오늘 내용처럼 부동소수점 오류에 대한 지식만 갖춰도 엑셀 작업에서 불필요한 고민을 크게 덜 수 있을 것입니다.
이 글은 Exceljet – Quick, clean, and to the point의 기사를 바탕으로 작성되었습니다.
