robots.txt
Jak zakázat indexování robotům pomocí robots.txt.
Jak zakázat indexování robotům pomocí robots.txt.
Související články
Yahoo začalo podporovat u svých indexovacích robotů velice zajímavý atribut, který umožňuje neindexovat určitou webmasterem definovanou část (x)HTML kódu.]
Třináct let starý standard nevyhovuje hlavně zpravodajským zdrojům. Chtějí více kontroly nad tím, jak vlastně vyhledávací služby budou zacházet s jejich daty
29. listopadu 07, 06:11
Weblogy.cz
Yahoo začalo podporovat u svých indexovacích robotů velice zajímavý atribut, který umožňuje neindexovat určitou webmasterem definovanou část (x)HTML kódu.]
V dnešní vývojové verzi Firefoxu 3.0 se objevila nová skrytá stránka. Pokud do prohlížeče zadáte adresu about:robots, zobrazí se vám stránka „vzdávající hold robotům a jejich boji za otevřený web“. Osobně jsem rád, že vývojáře neopouští smysl pro humor :). Detaily vzniku této stránky si můžete pročíst v příslušném záznamu v Bugzille.
12. března 08, 06:03
JasnaPaka Blog
S oblibou používám ke zjišťování informací o přístupu Google k mým stránkám nástroje Google Webmaster Tools (Google nástroje pro webmastery). Do nabízené palety nástrojů nedávno přibylo automatizované generování souboru robots.txt . Tento soubor …
12. června 08, 12:06
Weblogy.cz
Rozšířili jsme robots.txt o možnost omezení rychlosti stahování, použití tagu Allow a několik dalších funkcí.
1. října 08, 10:10
Weblogy.cz
Google představil novou funkci pro Webmasters Tools: automatické vygenerování souboru robots.txt
5. dubna 08, 09:04
Linkuj.cz
