Lemat, strona prywatna

Ograniczanie dostępu

Przeglądając http://www.webmasterworld.com/forum92/906.htm zauważyłem świetne regułki blokujące dostęp do strony niektórym user-agentom.

Po miesiącu testowania ich u siebie mogę zauważyć, że:

  1. wp.pl używa robota identyfikowalnego jako Java, więc wywaliłem go z tych regułek
  2. pozwoliłem na dostęp wget-em
  3. dodałem za to robota 'iltrovatore'
  4. zmieniłem regułkę łapiącą ZyBorg-a ta nazwa jest teraz w środku a nie zakotwiczona na początku ciągu '^'
  5. regułka blokująca dostęp kiedy user-agent i referer są puste spełnia swoje zadanie jeśli zrobimy wyjątek - robots.txt

Jeżeli chcecie się przyjrzeć moim regułkom zobaczcie tutaj: rules.txt. Oczywiście tak jak jest to powiedziane w artykule na webmasterforum -> używacie na własne ryzyko.

Ale muszę przyznać - te regułki są zrobione trochę na wyrost - nie widziałem w logach na przykład żadnego z tych IPków oraz 90% z tych user-agentów. Nagminnie pałęta mi się ZyBorg, ale pomimo tego, ze mi indeksował stronę to jego wyszukiwarka mnie całkowicie olewa, więc poprawiłem regułkę blokującą go.

To, co niestety nie dało się osiągnąć tymi regułkami to blokowanie harvesterów spamerskich. Po prostu spamerzy są na tyle bezczelni, że podają się za np. IE6. Natomiast zdradza ich jedno - ciągną zawartość w szybkim tempie - wystarczy więc zrobić zabezpieczenie na ilość odsłon/minutę z jednego IP, dodać do tego pułapkę w postaci niewidzialnego ifrejma 1x1.
A nawet jak się wycwanią to zawsze można ich poczęstować nieistniejącymi adresami email.


Data utworzenia : 2004-03-09

Skomentuj ten tekst

Komentarze:

Morfi
2008-06-12 20:42:53
mod_rewrite
czy po odpaleniu apacha z mod_rewrite i udostepniu go użytkownikom istnieje jakieś ryzyko zawieszenia serwera po przez stworzenie jakiś zapętlonych reguł itp. ? Pozdr.
Odpowiedź Lemata:
czy zawieszenia serwera to nie wiem, ale można skonstruować pętlę, z której nie ma wyjścia - wtedy apacz po chyba 10 kroku wywala błąd numer 500 Internal Server Error czy jakoś tak. W takim przypadku pomocne jest włączenie logowania z modułu mod_rewrite. Co do zawieszenia serwera to radziłbym ci poszukać w kierunku Perla, wyrażeń regularnych i konkretnych wyrażeń, które np. skonsumują całą dostępną pamięć.
MisterW
2005-03-04 22:36:59
a/ podziękowanie; b/ pytanie off topic
a/ Serdecznie dziekuję za odpowiedź na grupie. Wiele mi to dało. Choć nadal nic nie rozumiem, zwłaszcza z zamieszczonych tu regułek. Ale pewnie jakąs książkę powninienem przeczytać ;-) b/ ortografia: nie "beszczelny" a "bezczelny" - czyli bez czoła, bez twarzy -> ktoś niewart szacunku. Twoja wersja sugeruje, ze spamerzy "przeciekają" tj, są "bez szczelności".. nawet pasuje :D.. ale chyba nie o to Ci chodziło? Kurde, znowu wyjdę na durnia-purystę (rotfl).. A powaga . dziekuje - fajny spis tematów. Choć niewiele umiem, coś mi się zaczyna składać w całość.. powolutku. DZIEKI!
określ jak bardzo twoje strony trzymają się standardu w3c:
Protected by spf
[Nospam-PL.NET]
Seti@Home
www.php.net
© Lemat 2004 - ∞
Cookie Bullshit
Mapa strony
engine: lem.. at lemat·priv·pl