반응형 에이전트1 파이썬으로 크롤링하면서 데이터를 가져올 수 없을 때 방금 내가 겪은 일이어서 정보 공유 차원으로 올려본다. 가끔씩 파이썬으로 크롤링을 하면서 분명 URL을 제대로 입력했는데도 불구 웹의 내용을 가져올 수 없는 경우가 있다. 분명 응답 코드는 200인데 말이다(가끔씩 응답 코드 403을 내보내는 경우도 있다). 이럴 경우에는 유저 에이전트를 헤더에 추가시켜주면 된다. 유저 에이전트는 https://namu.wiki/w/%EC%82%AC%EC%9A%A9%EC%9E%90%20%EC%97%90%EC%9D%B4%EC%A0%84%ED%8A%B8 사용자 에이전트 - 나무위키 아래에 샘플을 준비했다. Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.27.. 2020. 2. 20. 이전 1 다음 반응형