[E.1] http.client.RemoteDisconnected: Remote end closed connection without response

파이썬으로 웹 크롤링 할 때 발생하는 에러 중 하나.

 

http.client.RemoteDisconnected: Remote end closed connection without response

 

요청에 대한 응답을 제대로 못 받는 상황일거고, 어쩌면 connection이 끊겼을수도 있고 등등 생각해 보면서

어떤 경우에 이런 에러가 발생하나 G사의 B에게 물어보니 다음과 같은 답변을 받았다.

크롤링을 하다가 중반 이후에 저런 에러를 받았으니 서버는 정상 작동하고 있다고 보고 내 요청을 제대로 처리를 못하고 있는 케이스로 생각이 든다.

 

그래서 코드 수정없이 다시 실행. 이전에는 크롤링 한 구간을 체크해 놓고 다시 돌려보고 비교하면 상황을 파악할 수 있겠다.

소스를 다시 실행하니 정상 완료

 

제대로 완료가 완되었으면 디버깅하면서 찾았을텐데... 다음에도 안되면 그래야겠다. 이런 경우 요청 처리를 조금 여유있게 주기위해 중간에 time.sleep을 걸어도 되겠다.