|
TwojePC.pl © 2001 - 2026
|
 |
A R C H I W A L N A W I A D O M O Ś Ć |
 |
| |
|
do webmasterow/adminow - listy (ro)botow internetowych , akustyk 17/06/05 09:02
pytanie moze nietypowe, ale potrzebne:
czy znacie moze liste botow internetowych, ktore laza i indeksuja strony www? bo mi co i rusz na wlasnej stronie pojawiaja sie nowe wejscia i musze je recznie klasyfikowac do wykluczania (zeby licznika nie nabijaly).
na chwile obecna mam:
msnbot
Slurp
Googlebot
Szukacz
ia_archiver
Gigabot
Mediapartners-Google
ConveraCrawler
TAMU_CS_IRL_CRAWLER
W3C_Validator
libwww-perl
NutchCVS
Teleport
ZyBorg
psbot
IRLbot
aipbot
szukaj.onet.pl
ale obawiam sie, ze na tym nie koniec. a wolalbym miec do tego jakis automat, zamiast recznie wyluskiwac delikwentow po logach...
z gory dziekihttp://akustyk.magma-net.pl - Google'uj ziom... , pachura 17/06/05 09:29
Wpisz w google'u "user-agent strings" albo "list" i będzie git.
Aha - większość botów/search-enginów respektuje plik "robots.txt" i nie wchodzi na daną stronę...- hmm , akustyk 17/06/05 09:40
z tym nie wchodzeniem to raczej bym sie nie nastawial ;-) one maja robote do wykonania, a nie kulture do okazania ;-)
ale swoja droga, to nie chodzi mi o zablokowanie robotow. wrecz odwrotnie. nie chce ich tylko miec w logach strony, ktore sobie do SQL-a wrzucam, bo potem zaciemniaja obraz kto tak naprawde wchodzi na strone cos poogladac, a ktore wejscia to "spam"
dzieki za informacje!http://akustyk.magma-net.pl - hmm , akustyk 17/06/05 09:44
ech... ale te listy niewiele daja... i tak musze sam domyslac sie, ktore z nich to boty :( wiekszosc ma w nazwie slowo "bot", ale nie wszystkie...http://akustyk.magma-net.pl
|
|
|
|
 |
All rights reserved ® Copyright and Design 2001-2026, TwojePC.PL |
 |
|
|
|
