수다 분류
20일쯤 지났는데 트래픽 상황 어찌 되나요 추장님
컨텐츠 정보
- 1,379 조회
- 31 댓글
- 2 추천
- 0 비추천
-
목록
본문
0.5TB도 못썼죠!?
이실직고 해보세유~
관련자료
-
서명
댓글 31
미우님의 댓글의 댓글
검색엔진은...
현재 일반 pc로 하면 쿼드 코어로 5천만~1억 페이지 정도는 대충 감당가능해요. 국내 사이트만 검색하는 건 허접 pc 한대로 커버 가능한 수준
크롤링과 파일럿 사이트 운영 정도. 물론 이용자가 많아지면 서비스 페이지는 분리를 해야겠지만
저번에...
구글은 셋 정도 페이스북은 다섯 정도 돌아다니죠 여기만 해도.
웬만한 사이트 하루에 한번씩 긁어오려면 하루 종일 128~256스레드(봇 수) 정도 풀로 돌려야 해요.
긁어온 거 db에 넣고 인덱싱 계속 해야하고... cpu 하루종일 풀로드임.
긁어오는 페이지 수만큼 스토리지 팍팍 늘고 스토리지는 사실 160GB는 처음 긁어올 때도 1시간 안에 다 참, 기본적인 거만 해도 십수테라~수백테라
현재 일반 pc로 하면 쿼드 코어로 5천만~1억 페이지 정도는 대충 감당가능해요. 국내 사이트만 검색하는 건 허접 pc 한대로 커버 가능한 수준
크롤링과 파일럿 사이트 운영 정도. 물론 이용자가 많아지면 서비스 페이지는 분리를 해야겠지만
저번에...
구글은 셋 정도 페이스북은 다섯 정도 돌아다니죠 여기만 해도.
웬만한 사이트 하루에 한번씩 긁어오려면 하루 종일 128~256스레드(봇 수) 정도 풀로 돌려야 해요.
긁어온 거 db에 넣고 인덱싱 계속 해야하고... cpu 하루종일 풀로드임.
긁어오는 페이지 수만큼 스토리지 팍팍 늘고 스토리지는 사실 160GB는 처음 긁어올 때도 1시간 안에 다 참, 기본적인 거만 해도 십수테라~수백테라