slacky.eu

Ciao a tutti,
ho notato nei log di un sito che curo che uno spider è un po' troppo invadente, il suo user agent è panscient e volevo bloccarlo in qualche modo... siccome non da retta al robots.txt ho pensato di bloccarlo con l'htaccess, ma qui mi sono un attimo impantanato (non sono un guru)...

Questa è la direttiva che ho trovato dopo un po' di google: Il problema è che usando questa direttiva il server mi restituisce un bel 501... cosa ho sbagliato??

Sullo stesso sito dove ho trovato questa c'erano anche dei suggerimenti per bloccare l'ip o il range in cui opera questo bot, ma, se possibile, vorrei evitare di bloccare degli ip per non rischiare di tagliare fuori qualcuno che con il bot non ha nulla a che vedere...



Mi date una mano??

Mi rispondo da solo... ho googlato ancora un po' e ho trovato sulla reference di apache alcuni esempi, ne ho adattato uno in questo modo:
e sembra funzionare, nel senso che posso accedere da browser al sito... resta però da vedere se il bot riuscirà ad accedervi ancora...

Aspetto qualche conferma e poi metto risolto...


Ciau

ciao,
scusa la curiosita'... ma in che senso e' invadente?

puoi fare un test cambiando la stringa useragent del browser,
se non riesci a visualizzare il sito la cosa funziona.

ad es. con links da linea di comando

teox99 ha scritto:ciao,
scusa la curiosita'... ma in che senso e' invadente?

nel senso che è molto pesante in termini di richieste e poi fa delle query che non esistono anche in directory in cui non dovrebbe guardare e che io ho bloccato con il robots.txt... In ogni caso, uno spider che non rispetta quel file andrebbe bloccato a priori...

@fanfani:
grazie della dritta, adesso provo...