AliCologne Passiert nur alle paar tausend Jahre:
Alle Planeten auf einer Linie..^^ pic.twitter.com/53SU42iHvz
@xitnelat @heavyinternet Aber dann ist es schon zu spät. Dann haben sie mindestens schon die Home. Man müsste sie komplett blocken können.
@heavyinternet Dafür bin ich viel zu wenig Serverlastig unterwegs und kenne mich zu wenig aus.
@xitnelat @heavyinternet Wie kann ich gewährleisten, dass diese speziellen Seiten nur auf die Honeypot seite gehen und nur dieses crawlen?
@heavyinternet Danke, dass muss ich mal in ruhe durchgehen. Präventiv wäre halt schön.
@heavyinternet Nein, das lohnt nicht.
@heavyinternet Mann muss dazu sagen, die Domain ist schon ewig “abgeschaltet”. Der Content ist somit überhaupt nicht mehr korrekt.
@heavyinternet Ja, bzw will ich verhindern, dass sie weitere Domains von mir crawlen. Das ist die erste Suchergebnisseite.
@heavyinternet Beispiel von einer alten Domain von mir. Da kommt mir alles hoch. pic.twitter.com/IuMiel0Hrn
@heavyinternet Ich habe im Moment nur das, was mir google zeigt, und das ist zum kotzen.
@heavyinternet Aber bestimmt nicht über igre eigene Domain. Ich schätze, so schlau werden sie sein.
@heavyinternet robots.txt werden ignoriert. Rewrite verhindert nur den Aufruf von der Domain aus, nicht das Crawling selbst, oder?
@faulancr Damit verhindere ich, wenn ich es richtig verstehe, nicht das Crawling, sondern nur den Aufruf von dieser Seite aus.
Oder hat jemand eine Liste, von den bekanntesten Spam-Crawling-Webseiten? twitter.com/scheibo_/statu…
Hat jemand eine Idee/Lösung, wie man Seiten wie findsimilarsites, webxtrakt, seoceros den Zugriff verweigern kann?