수다 분류

웹크롤러가 뭔가요?

컨텐츠 정보

  • 413 조회
  • 7 댓글
  • 0 추천
  • 0 비추천
  • 목록

본문

중국 웹사인트에 스마트폰의 크롬으로 접속했는데 아래 문구가 뜨더니 접속이 안됩니다.


이걸 어떻게 해결해야 하나요?


시스템은 귀하가 웹사이트에 접속하기 위해 웹 크롤러를 사용하고 있음을 감지합니다. 접속하기 전에 해당 웹 크롤러를 제거하고 삭제하십시오

관련자료

  • 서명
    한러를 유랑하는 킹크랩 도령
댓글 7

하늘바라봄님의 댓글

대강
자동으로 사이트 돌아다니거나 자료수집해하거나...하튼 특정 행동을 자동으로 하는 프로그램이랄까요

미우님의 댓글

웹서버에 데이터 요청하고 그 응답으로 서버에서 받은 데이터를 화면에 그려주는 게 웹브라우저입니다.
웹크롤링이라고 하는 행위는 웹페이지를 볼 생각은 없고 데이터만 추출해가기 위해 화면에 그려주는 행위를 배제하고 웹서버에 필요한 데이터 요청만 하는 행위이고
특별한 애드온이 설치되어 있지 않다면 중국 사이트가 구글의 분석도구 자체를 웹크롤러로 잘못 인식하는 것 같네요.
짜장 폰에는 기본 브라우저 다른 거 쓰는 건지 모르겠으나...
보통 크롤러를 제한 하는 경우는 일반 웹 사용자와 상관없이 트래픽을 일으켜 비용을 발생시키거나 서버 부하를 일으켜 레이턴시를 일으키기 때문입니다.

(초기에 여기 접속자 리스트에서도, 제가 구글 등 도움 되는 애들 외에 이상한 해킹시도로 간주되거나 이름없는 이상한 애들
매번 찾아서 블럭하고 했었던 거 기억하실지도 모르겠는데, 최대한 저렴하게 서비스 유지 하려는데 혹 트래픽 과다하게 발생할까봐...)
전체 17,922 / 580 페이지
번호
제목
이름
전체 17,922 / 580 페이지
알림 0