파이썬 데이터 처리 가이드

업무 데이터는 먼저 열 이름·자료형·누락값을 확인하고, 변환 전후의 행 수와 합계를 비교하며 정리해야 합니다. Pandas를 쓰더라도 원본 보존과 처리 규칙을 정하는 과정이 먼저입니다.

파일을 받았을 때의 확인 순서

1. 원본을 복사하고 파일명, 수집일, 출처를 기록합니다.
2. 인코딩과 구분자를 확인합니다.
3. 식별번호는 문자열로 읽어 앞자리 0을 보존합니다.
4. 열별 결측치와 중복 키를 집계합니다.
5. 업무 규칙에 맞춰 변환하고 결과를 별도 파일에 저장합니다.

자주 만나는 문제

문제	확인할 조건
한글이 깨짐	원본 인코딩과 읽기·쓰기 인코딩이 같은지 확인
빈 값이 0으로 바뀜	미입력과 실제 0을 구분해야 하는지 판단
파일 병합 후 행 수 증가	결합 키가 각 표에서 유일한지 확인
메모리 부족	필요 열만 읽거나 청크 단위 처리 검토

문제별 실전 가이드

• 중첩 JSON의 자료형과 누락 키 처리
• Pandas 결측치 확인과 처리 기준
• CSV 파일 병합과 메모리 사용 줄이기
• SQLite로 결과 저장과 조회하기
• 유니크 제약으로 중복 저장 제어하기

삭제와 대체는 비율만으로 결정하지 않습니다

결측치가 적더라도 중요한 고객군에 집중되면 단순 삭제가 결과를 바꿀 수 있습니다. 평균이나 중앙값 대체도 변수의 의미와 분포에 따라 달라집니다. 선택한 처리 규칙과 제거한 행 수를 기록하고, 결과 해석에 영향을 주는 부분은 보고서에 명시하세요.

처리한 결과를 외부 서비스로 보낼 때는 API·운영 가이드를 참고하세요.