do webmasterow/adminow - listy (ro)botow internetowych

	B O A R D
	» Board » Zadaj pytanie » Archiwum » Szukaj » Stylizacja

M E N U

» Nowości

» Archiwum

» Recenzje / Testy

» Board

» Rejestracja

Szukaj @ TwojePC

	OBECNI NA TPC
	» Martens 04:21 » selves 03:38 » Bonifacyz 03:06 » piszczyk 01:43 » Chavez 01:26 » Chrisu 01:25 » metacom 01:21 » BoloX 01:16 » Dzban 01:02 » Qjanusz 00:53 » Irys 00:51 » ulan 00:41 » RaPToRR 00:22 » zibi13 00:10 Dzisiaj przeczytano 36870 postów, wczoraj 25433 Szybkie ładowanie jest: włączone.

ccc

A R C H I W A L N A W I A D O M O Ś Ć

do webmasterow/adminow - listy (ro)botow internetowych , akustyk 17/06/05 09:02
pytanie moze nietypowe, ale potrzebne:
czy znacie moze liste botow internetowych, ktore laza i indeksuja strony www? bo mi co i rusz na wlasnej stronie pojawiaja sie nowe wejscia i musze je recznie klasyfikowac do wykluczania (zeby licznika nie nabijaly).

na chwile obecna mam:
msnbot
Slurp
Googlebot
Szukacz
ia_archiver
Gigabot
Mediapartners-Google
ConveraCrawler
TAMU_CS_IRL_CRAWLER
W3C_Validator
libwww-perl
NutchCVS
Teleport
ZyBorg
psbot
IRLbot
aipbot
szukaj.onet.pl

ale obawiam sie, ze na tym nie koniec. a wolalbym miec do tego jakis automat, zamiast recznie wyluskiwac delikwentow po logach...

z gory dzieki

http://akustyk.magma-net.pl

Google'uj ziom... , pachura 17/06/05 09:29
Wpisz w google'u "user-agent strings" albo "list" i będzie git.

Aha - większość botów/search-enginów respektuje plik "robots.txt" i nie wchodzi na daną stronę...
1. hmm , akustyk 17/06/05 09:40
  z tym nie wchodzeniem to raczej bym sie nie nastawial ;-) one maja robote do wykonania, a nie kulture do okazania ;-)
  
  ale swoja droga, to nie chodzi mi o zablokowanie robotow. wrecz odwrotnie. nie chce ich tylko miec w logach strony, ktore sobie do SQL-a wrzucam, bo potem zaciemniaja obraz kto tak naprawde wchodzi na strone cos poogladac, a ktore wejscia to "spam"
  
  dzieki za informacje!
  http://akustyk.magma-net.pl
2. hmm , akustyk 17/06/05 09:44
  ech... ale te listy niewiele daja... i tak musze sam domyslac sie, ktore z nich to boty :( wiekszosc ma w nazwie slowo "bot", ale nie wszystkie...
  http://akustyk.magma-net.pl