do webmasterow/adminow - listy (ro)botow internetowych

	B O A R D
	» Board » Zadaj pytanie » Archiwum » Szukaj » Stylizacja

M E N U

» Nowości

» Archiwum

» Recenzje / Testy

» Board

» Rejestracja

Szukaj @ TwojePC

	OBECNI NA TPC
	» Carduin 02:05 » cVas 01:53 » bmiluch 01:14 » Martens 01:09 » wrrr 00:55 » abes99 00:49 » Fl@sh 00:48 » Bonifacyz 00:43 » skalak23 00:22 » DJopek 00:18 » Ramol 23:42 » metacom 23:33 » @GUTEK@ 23:31 » Visar 23:27 » GLI 23:26 » Soulburne 23:25 » Brauni 23:20 » Kool@ 23:12 » Kenny 23:11 » rainy 23:07 Dzisiaj przeczytano 7478 postów, wczoraj 72839 Szybkie ładowanie jest: włączone.

ccc

A R C H I W A L N A W I A D O M O Ś Ć

do webmasterow/adminow - listy (ro)botow internetowych , akustyk 17/06/05 09:02
pytanie moze nietypowe, ale potrzebne:
czy znacie moze liste botow internetowych, ktore laza i indeksuja strony www? bo mi co i rusz na wlasnej stronie pojawiaja sie nowe wejscia i musze je recznie klasyfikowac do wykluczania (zeby licznika nie nabijaly).

na chwile obecna mam:
msnbot
Slurp
Googlebot
Szukacz
ia_archiver
Gigabot
Mediapartners-Google
ConveraCrawler
TAMU_CS_IRL_CRAWLER
W3C_Validator
libwww-perl
NutchCVS
Teleport
ZyBorg
psbot
IRLbot
aipbot
szukaj.onet.pl

ale obawiam sie, ze na tym nie koniec. a wolalbym miec do tego jakis automat, zamiast recznie wyluskiwac delikwentow po logach...

z gory dzieki

http://akustyk.magma-net.pl

Google'uj ziom... , pachura 17/06/05 09:29
Wpisz w google'u "user-agent strings" albo "list" i będzie git.

Aha - większość botów/search-enginów respektuje plik "robots.txt" i nie wchodzi na daną stronę...
1. hmm , akustyk 17/06/05 09:40
  z tym nie wchodzeniem to raczej bym sie nie nastawial ;-) one maja robote do wykonania, a nie kulture do okazania ;-)
  
  ale swoja droga, to nie chodzi mi o zablokowanie robotow. wrecz odwrotnie. nie chce ich tylko miec w logach strony, ktore sobie do SQL-a wrzucam, bo potem zaciemniaja obraz kto tak naprawde wchodzi na strone cos poogladac, a ktore wejscia to "spam"
  
  dzieki za informacje!
  http://akustyk.magma-net.pl
2. hmm , akustyk 17/06/05 09:44
  ech... ale te listy niewiele daja... i tak musze sam domyslac sie, ktore z nich to boty :( wiekszosc ma w nazwie slowo "bot", ale nie wszystkie...
  http://akustyk.magma-net.pl