do webmasterow/adminow - listy (ro)botow internetowych

	B O A R D
	» Board » Zadaj pytanie » Archiwum » Szukaj » Stylizacja

M E N U

» Nowości

» Archiwum

» Recenzje / Testy

» Board

» Rejestracja

Szukaj @ TwojePC

	OBECNI NA TPC
	» Holyboy 12:01 » elliot_pl 11:59 » JE Jacaw 11:59 » Demo 11:52 » cVas 11:46 » Kenny 11:37 » Liu CAs 11:37 » Chrisu 11:32 » rainy 11:31 » patinka 11:26 » Menah 11:26 » Dhoine 11:23 » skalak23 11:19 » Emios 11:14 » yeger 11:12 » wrrr 11:11 » dugi 11:04 » petropank 11:03 » maddog 10:56 » ulan 10:41 Dzisiaj przeczytano 53511 postów, wczoraj 104470 Szybkie ładowanie jest: włączone.

ccc

A R C H I W A L N A W I A D O M O Ś Ć

do webmasterow/adminow - listy (ro)botow internetowych , akustyk 17/06/05 09:02
pytanie moze nietypowe, ale potrzebne:
czy znacie moze liste botow internetowych, ktore laza i indeksuja strony www? bo mi co i rusz na wlasnej stronie pojawiaja sie nowe wejscia i musze je recznie klasyfikowac do wykluczania (zeby licznika nie nabijaly).

na chwile obecna mam:
msnbot
Slurp
Googlebot
Szukacz
ia_archiver
Gigabot
Mediapartners-Google
ConveraCrawler
TAMU_CS_IRL_CRAWLER
W3C_Validator
libwww-perl
NutchCVS
Teleport
ZyBorg
psbot
IRLbot
aipbot
szukaj.onet.pl

ale obawiam sie, ze na tym nie koniec. a wolalbym miec do tego jakis automat, zamiast recznie wyluskiwac delikwentow po logach...

z gory dzieki

http://akustyk.magma-net.pl

Google'uj ziom... , pachura 17/06/05 09:29
Wpisz w google'u "user-agent strings" albo "list" i będzie git.

Aha - większość botów/search-enginów respektuje plik "robots.txt" i nie wchodzi na daną stronę...
1. hmm , akustyk 17/06/05 09:40
  z tym nie wchodzeniem to raczej bym sie nie nastawial ;-) one maja robote do wykonania, a nie kulture do okazania ;-)
  
  ale swoja droga, to nie chodzi mi o zablokowanie robotow. wrecz odwrotnie. nie chce ich tylko miec w logach strony, ktore sobie do SQL-a wrzucam, bo potem zaciemniaja obraz kto tak naprawde wchodzi na strone cos poogladac, a ktore wejscia to "spam"
  
  dzieki za informacje!
  http://akustyk.magma-net.pl
2. hmm , akustyk 17/06/05 09:44
  ech... ale te listy niewiele daja... i tak musze sam domyslac sie, ktore z nich to boty :( wiekszosc ma w nazwie slowo "bot", ale nie wszystkie...
  http://akustyk.magma-net.pl