do webmasterow/adminow - listy (ro)botow internetowych

	B O A R D
	» Board » Zadaj pytanie » Archiwum » Szukaj » Stylizacja

M E N U

» Nowości

» Archiwum

» Recenzje / Testy

» Board

» Rejestracja

Szukaj @ TwojePC

	OBECNI NA TPC
	» Kilgor 23:45 » ulan 23:38 » pwil2 23:18 » Bonifacyz 23:17 » malyy 23:05 » JE Jacaw 23:03 » Tomasz 22:58 » Ramen 22:57 » Zibi 22:55 » DJopek 22:54 » Ament 22:52 » rooter666 22:51 » m&m 22:45 » bmiluch 22:28 » Fl@sh 22:20 » ManiusNG 22:12 » rurecznik 22:01 » Druzil 21:50 » Markizy 21:48 » Wedrowiec 21:43 Dzisiaj przeczytano 117031 postów, wczoraj 55205 Szybkie ładowanie jest: włączone.

ccc

A R C H I W A L N A W I A D O M O Ś Ć

do webmasterow/adminow - listy (ro)botow internetowych , akustyk 17/06/05 09:02
pytanie moze nietypowe, ale potrzebne:
czy znacie moze liste botow internetowych, ktore laza i indeksuja strony www? bo mi co i rusz na wlasnej stronie pojawiaja sie nowe wejscia i musze je recznie klasyfikowac do wykluczania (zeby licznika nie nabijaly).

na chwile obecna mam:
msnbot
Slurp
Googlebot
Szukacz
ia_archiver
Gigabot
Mediapartners-Google
ConveraCrawler
TAMU_CS_IRL_CRAWLER
W3C_Validator
libwww-perl
NutchCVS
Teleport
ZyBorg
psbot
IRLbot
aipbot
szukaj.onet.pl

ale obawiam sie, ze na tym nie koniec. a wolalbym miec do tego jakis automat, zamiast recznie wyluskiwac delikwentow po logach...

z gory dzieki

http://akustyk.magma-net.pl

Google'uj ziom... , pachura 17/06/05 09:29
Wpisz w google'u "user-agent strings" albo "list" i będzie git.

Aha - większość botów/search-enginów respektuje plik "robots.txt" i nie wchodzi na daną stronę...
1. hmm , akustyk 17/06/05 09:40
  z tym nie wchodzeniem to raczej bym sie nie nastawial ;-) one maja robote do wykonania, a nie kulture do okazania ;-)
  
  ale swoja droga, to nie chodzi mi o zablokowanie robotow. wrecz odwrotnie. nie chce ich tylko miec w logach strony, ktore sobie do SQL-a wrzucam, bo potem zaciemniaja obraz kto tak naprawde wchodzi na strone cos poogladac, a ktore wejscia to "spam"
  
  dzieki za informacje!
  http://akustyk.magma-net.pl
2. hmm , akustyk 17/06/05 09:44
  ech... ale te listy niewiele daja... i tak musze sam domyslac sie, ktore z nich to boty :( wiekszosc ma w nazwie slowo "bot", ale nie wszystkie...
  http://akustyk.magma-net.pl