sexta-feira, 18 de julho de 2008

Linux: wget ignores robot.txt entry

on the command line: -erobots=off

http://cygwin.com/ml/cygwin/2003-02/msg00944.html

Nenhum comentário:

Postar um comentário

Drunk Penguins

Drunk Penguins
Drunk Penguins