Zapojte se do projektu -> Detekce botů

Projekt user-agent-string.info sbírá informace o robotech pomocí detekce jejich přístupu k souboru robots.txt (http://www.example.com/robots.txt). Přesný popis syntaxe a použití robots.txt je uveden v dokumentu the robot exclusion standard .
Myšlenka je jednoduchá. Každý slušně napsaný robot si dříve než začne procházet konkrétní web, stáhne soubor robots.txt. Pokud bude přístup k souboru monitorován, máme to co potřebujeme.

Umístíte-li monitorovací script na svůj server, pomůžete se sbíráním informací. Pokud to uděláte, nezapomeňte napsat ať můžete být uvedeni ve spolupracujících serverech.

Co bude zaznamenáno do naší DB?
- Zaznamenává se pouze UA, jeho IP a čas, nic jiného.
Může nedostupnost serveru user-agent-string.info způsobit problém mě?
- Ne, jen nebudou zapsána data o robotovi.

Řešení: APACHE + PHP + .htaccess

V souboru .htaccess bude uvedeno

Obsah souboru robots.txt

<?PHP
//--[user-agent-string.info botdetect for APACHE + PHP + .htaccess]--
//------------------ CONF START ---------------------------------------

$filename = "robots.orig"; 	// new name for file robots.txt

//------------------ CONF END -----------------------------------------
$i .= "&ua=".urlencode($_SERVER["HTTP_USER_AGENT"]);
$i .= "&adr=".urlencode($_SERVER["REMOTE_ADDR"]);
$url = "http://user-agent-string.info/rpc/botdetect.php?$i";
$fp = @fopen($url, "rb");
@fclose ($fp);
if (!($file = @fopen ($filename, "r"))) {
	header ("HTTP/1.0 404 Not Found");
	echo "<!DOCTYPE HTML PUBLIC \"-//IETF//DTD HTML 2.0//EN\">\n";
	echo "<html><head><title>404 Not Found</title></head><body><h1>Not Found</h1>\n";
	echo "<p>The requested URL /robots.txt (let us say: ".$filename.") was not found on this server.</p></body></html>";
}
else {
	$robots = fread ($file, filesize ($filename));
	fclose ($file);
	header("Last-Modified: ".gmdate("D, d M Y H:i:s")." GMT");
	header("Accept-Ranges: bytes");
	header("Content-Length: ".strlen($robots));
	header("Content-Type: text/plain");
	echo $robots;
}
?>

Příklad souboru robots.orig

UASparser používá

- Nově přidaní useragenti do DB - RSS - Kontakt