-
[Python] Overflow와 type casting개발 이야기/TIL 2025. 5. 1. 13:01
term1 = t*(t-1)*(n-t)*(n-t-1) / (n*(n-1)*(n-2)*(n-3)) ~~~~~~~~~~~~~^^~~~~ FloatingPointError: overflow encountered in scalar multiplPython으로 수식 계산 중 다음 부분에서 FlaotingPointError와 다른 항들에서도 Overflow발생.
원인: type
t랑 n은 정수형이었음. 즉 다음 수식 계산시 곱셈부분의 범위가 커졌고(n=1000 t도 1000정도 되는 상황)
따라서 연산에서 wrap-aorund가 발생한것 같음.
따라서 계산량이 많을 때 + 위 상황은 float 결과를 반환하는 상황임으로 Float으로 type casting하고 연산해야함.
해결: float type casting
t = float(t) n = float(n) R1 = float(R1) R2 = float(R2) nE = float(nE)'개발 이야기 > TIL' 카테고리의 다른 글
[TIL][Conda] conda 환경세팅 yml (2) 2024.09.30 [Gurobi] 최적화 프로그램 gruobi academic license 다운로드(학생판) (0) 2024.07.25 [Data] 파이썬을 이용한 주가 데이터 수집하기 (2) 2024.07.23 [Finance&OR&ML] 금융 및 최적화 관련 참고할 학술지 (0) 2024.07.03 [Error] sh syntax error: unexpected end of file (0) 2024.04.26