Правительственные сайты запрещают всем поисковым роботам индексировать свои страницы

По данным некоммерческой организации CommonCrawl Foundation, около 3,5% сайтов зоны .gov запрещают всем поисковым роботам индексировать свои страницы.

Из 32 000 поддоменов зоны .gov по крайней мере 1188 содержат robots.txt с инструкцией, запрещающей любым «паукам» индексировать страницы расположенных на этих доменах сайтов. По мнению специалистов CommonCrawl Foundation, robots.txt должен использоваться на государственных сайтах только в целях безопасности и открытости, а не потому, что вебмастер самолично решил, что их не нужно индексировать.

Что же касается российских государственных сайтов, то они часто поступают гораздо проще для охраны информации – они просто ее не публикуют.