수다 분류
웹크롤러가 뭔가요?
컨텐츠 정보
- 1,263 조회
- 7 댓글
- 0 추천
- 0 비추천
-
목록
본문
중국 웹사인트에 스마트폰의 크롬으로 접속했는데 아래 문구가 뜨더니 접속이 안됩니다.
이걸 어떻게 해결해야 하나요?
시스템은 귀하가 웹사이트에 접속하기 위해 웹 크롤러를 사용하고 있음을 감지합니다. 접속하기 전에 해당 웹 크롤러를 제거하고 삭제하십시오
관련자료
-
서명한러를 유랑하는 킹크랩 도령
댓글 7
미우님의 댓글
웹서버에 데이터 요청하고 그 응답으로 서버에서 받은 데이터를 화면에 그려주는 게 웹브라우저입니다.
웹크롤링이라고 하는 행위는 웹페이지를 볼 생각은 없고 데이터만 추출해가기 위해 화면에 그려주는 행위를 배제하고 웹서버에 필요한 데이터 요청만 하는 행위이고
특별한 애드온이 설치되어 있지 않다면 중국 사이트가 구글의 분석도구 자체를 웹크롤러로 잘못 인식하는 것 같네요.
짜장 폰에는 기본 브라우저 다른 거 쓰는 건지 모르겠으나...
보통 크롤러를 제한 하는 경우는 일반 웹 사용자와 상관없이 트래픽을 일으켜 비용을 발생시키거나 서버 부하를 일으켜 레이턴시를 일으키기 때문입니다.
(초기에 여기 접속자 리스트에서도, 제가 구글 등 도움 되는 애들 외에 이상한 해킹시도로 간주되거나 이름없는 이상한 애들
매번 찾아서 블럭하고 했었던 거 기억하실지도 모르겠는데, 최대한 저렴하게 서비스 유지 하려는데 혹 트래픽 과다하게 발생할까봐...)
웹크롤링이라고 하는 행위는 웹페이지를 볼 생각은 없고 데이터만 추출해가기 위해 화면에 그려주는 행위를 배제하고 웹서버에 필요한 데이터 요청만 하는 행위이고
특별한 애드온이 설치되어 있지 않다면 중국 사이트가 구글의 분석도구 자체를 웹크롤러로 잘못 인식하는 것 같네요.
짜장 폰에는 기본 브라우저 다른 거 쓰는 건지 모르겠으나...
보통 크롤러를 제한 하는 경우는 일반 웹 사용자와 상관없이 트래픽을 일으켜 비용을 발생시키거나 서버 부하를 일으켜 레이턴시를 일으키기 때문입니다.
(초기에 여기 접속자 리스트에서도, 제가 구글 등 도움 되는 애들 외에 이상한 해킹시도로 간주되거나 이름없는 이상한 애들
매번 찾아서 블럭하고 했었던 거 기억하실지도 모르겠는데, 최대한 저렴하게 서비스 유지 하려는데 혹 트래픽 과다하게 발생할까봐...)