티스토리 뷰

Application/Linux

wget

drake_kr 2014. 11. 1. 13:04

wget을 쓰면, 웬만한 사이트는 다 긁어진다고 볼 수 있는데,


robots.txt에 Disallow해둔 사이트는 안긁어진다.


그야, 도의적인 차원에서 기본값으로는 안긁어지게 해놓은거지, 못긁어가는건 아님.


wget -erobots=off http://your.site.here


요렇게 하면, 로봇이라고 선언하지 않으므로, robots.txt랑은 아무 상관 없음.

'Application > Linux' 카테고리의 다른 글

디렉토리 돌아다니면서 특정 파일 삭제  (0) 2015.08.24
우분투 공유기 만들기  (0) 2015.04.17
deb 파일 만들기  (0) 2014.10.29
bind 설정을 할 때 어디서 에러가 났는지 보고싶을 경우  (0) 2014.09.30
우분투한국커뮤니티 2014년 7월  (0) 2014.07.26