Requests User-Agent 설정: 요청 준비와 접근 정책 구분

User-Agent는 요청 프로그램 정보를 전달하는 헤더이며, 바꾸는 것만으로 접근 권한이나 수집 허가가 생기지는 않습니다.

어떤 상황에서 적용하나요?

다음은 Requests에서 요청을 준비하고 헤더를 검사하는 로컬 예제입니다. 실제 전송은 하지 않습니다. 자신을 나타내는 식별자를 쓰고 대상 사이트의 API·이용약관·접근 안내를 우선 확인하세요.

검증 범위: 아래 코드는 외부 서비스에 요청하지 않는 로컬 예제입니다. 실제 서비스 연결은 별도로 검증해야 합니다.

최소 예제로 동작 확인하기

import requests

request = requests.Request("GET", "https://example.com/", headers={
    "User-Agent": "WorkAutomationLearning/1.0"
})
prepared = request.prepare()
assert prepared.headers["User-Agent"] == "WorkAutomationLearning/1.0"
assert prepared.method == "GET"
print(prepared.headers["User-Agent"])

결과는 어떻게 확인하나요?

설정한 문자열이 출력됩니다. 이 결과는 헤더 준비를 검증할 뿐 실제 서버가 요청을 허용한다는 뜻은 아닙니다. 실제 전송에서는 시간 제한과 상태 코드를 확인해야 합니다.

실제 업무에 적용할 때 확인할 점

403을 받았다고 브라우저 헤더를 복사해 계속 요청하지 마세요. 인증이나 정책 문제를 확인하고 필요하면 관리자에게 허가를 받아야 합니다. 429 응답은 제공자의 재시도 지침을 따르고 요청 빈도를 낮추거나 중단합니다.

공식 자료와 다음 단계

관련 공식 문서에서 사용하는 버전의 기능과 제한을 확인하세요.

학습 경로: 웹 스크래핑 가이드 · 요청 정책과 헤더

작성: 로그 · 2026-10-17 수정: 확인되지 않은 경험담과 성능 보장 표현을 제거하고 예제·적용 조건·공식 근거를 보완했습니다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

API 키 저장 방법: 해싱과 암호화의 차이, Fernet 예제

외부 서비스 호출에 다시 사용할 API 키는 해시만 저장하면 안 됩니다. 원문이 필요한 키는 비밀 관리 서비스나 복호화 가능한 저장 방식을 사용하고, 들어온 키가 맞는지만 확인하는 서버 발급 키는 검증용 저장 방식을 설계해야 합니다. 먼저 API 키의 용도를 나누세요 용도 원문 복구 검토할 방식 외부 API에 인증 헤더로 전송 필요 비밀 관리 서비스 또는 키를 분리한 인증된 암호화 내 서비스가 발급한 키의 일치 여부 확인 보통 불필요 충분한 무작위성의 키 발급과 해시·HMAC 검증 설계 개발용 임시 키 필요 환경변수 등으로 코드에서 분리하고 저장소에 포함하지 않기 해싱은 암호화의 다른 이름이 아닙니다. 해시값을 외부 서비스의 원래 API 키 자리에 넣으면 인증되지 않습니다. 비밀번호용 반복 해시 설정을 API 키 전체에 일률적으로 적용하는 것도 적절하지 않습니다. 비밀번호와 고엔트로피 무작위 토큰은 위협 모델이 다릅니다. Fernet으로 암호화와 복호화 흐름 확인하기 다음은 Python 3 환경과 cryptography 패키지에서 흐름을 이해하기 위한 로컬 예제입니다. 설치는 python -m pip install cryptography 로 진행합니다. 예제는 실제 서비스 키를 사용하지 않으며, 운영용 키 보관 시스템 전체를 구현한 코드는 아닙니다. from cryptography.fernet import Fernet encryption_key = Fernet.generate_key() cipher = Fernet(encryption_key) sample_key = b"demo-key-not-for-production" ciphertext = cipher.encrypt(sample_key) restored = cipher.decrypt(ciphertext) assert restored == sample_key print("roundtrip ok") 출력은 roundtrip ok 입니다. 암호문은 생성할 때마다...
자세한 내용 보기

파이썬 Google Sheets API 연동: 서비스 계정 권한과 읽기·쓰기

파이썬에서 Google 스프레드시트를 읽고 쓰려면 사용할 인증 주체에 시트 접근 권한을 주고, 필요한 API와 범위를 설정해야 합니다. 서비스 계정을 생성했다는 사실만으로 개인 시트를 읽을 수 있는 것은 아닙니다. 서비스 계정과 사용자 OAuth 선택 서버에서 정해진 시트만 처리하는 작업에는 서비스 계정을 검토할 수 있습니다. 사용자가 직접 자신의 자료 접근을 승인하는 앱에는 사용자 OAuth가 적합할 수 있습니다. 조직 정책에 따라 키 파일 발급이나 외부 공유가 제한될 수 있으므로 관리자 정책도 확인하세요. 연결 전에 확인할 항목 Google Cloud 프로젝트에서 사용하려는 Sheets API를 활성화합니다. 사용하는 기능에 따라 Drive API도 필요할 수 있습니다. 서비스 계정 인증 정보를 안전한 위치에 준비합니다. 대상 시트를 서비스 계정 이메일과 공유하고 필요한 최소 권한만 부여합니다. 시트 URL의 문서 ID와 워크시트 이름을 확인합니다. 정해진 범위만 읽고 쓰는 예제 python -m pip install gspread google-auth 로 설치합니다. 다음 코드는 실제 API를 사용하며, 지정된 워크시트의 A1:B2를 덮어씁니다. 반드시 복사한 테스트 시트에서 실행하세요. 아래 외부 연동 예제는 이 사이트의 로컬 코드 검증 대상에 포함하지 않았습니다. import os import gspread key_file = os.environ["GOOGLE_SERVICE_ACCOUNT_FILE"] sheet_id = os.environ["GOOGLE_SHEET_ID"] client = gspread.service_account(filename=key_file) worksheet = client.open_by_key(sheet_id).worksheet("테스트") worksheet.update( range_name="A1:B2", values=[[...
자세한 내용 보기

Pandas 결측치 처리: isna, fillna, dropna 선택 기준

Pandas 결측치는 isna() 로 위치와 개수를 확인한 뒤, 열의 의미에 따라 삭제·유지·대체를 결정합니다. 결측치 비율만으로 행이나 열을 지우는 보편적인 정답은 없습니다. 삭제하기 전에 확인할 질문 누락이 시스템 장애인지, 해당되지 않는 값인지, 아직 입력되지 않은 값인지 구분하세요. 특히 매출 0과 매출 미확인은 서로 다른 정보입니다. 식별번호가 없을 때와 선택 항목이 비어 있을 때도 같은 규칙으로 처리하면 안 됩니다. 작은 표로 처리 결과 확인하기 Python 3와 Pandas가 필요합니다. python -m pip install pandas 로 설치한 뒤 실행하세요. 아래는 필수 식별자가 없는 행은 제외하고, 지역 미입력은 별도 범주로 표시하며, 금액 누락은 그대로 보존하는 예제입니다. import pandas as pd df = pd.DataFrame({ "order_id": ["001", "002", None, "004"], "region": ["서울", None, "부산", "서울"], "amount": [10000, None, 5000, 0], }) print(df.isna().sum().to_dict()) clean = df.dropna(subset=["order_id"]).copy() clean["region"] = clean["region"].fillna("미입력") assert len(clean) == 3 assert clean["amount"].isna().sum() == 1 assert (clean["amount"] == 0).sum() == 1 print(clean.to_string(index=False)) 처음 집계는 각 열의 결...
자세한 내용 보기