Мультисайтинг и robots.txt - простое решение

Всем кто знает зачем нужен robots.txt и насколько он важен для продвижения.

Нашел довольно простой способ как управлять файлом robots.txt в мультисайтинге, делая его уникальным под каждый сайт. Как раньше не догадался, а решение-то на поверхности.

Просто берем и используем SSI. Если у вас Apache.

Другими словами в robots.txt прописываем следующее:

<!--#if expr=" \"${HTTP_HOST}\" != \"www.site.ru\" " -->
# здесь стандартные правила из robots.txt по умолчанию - не забываем!
# + ваши правила
User-Agent: *
Disallow: /
<!--#endif -->

В этом файле будет запрещена индексация всего сайта www.site.ru. Естественно, вы можете использовать свои правила, например, для указания главного зеркала Яндексу.

Иногда SSI надо включать. Обратитесь в тех. поддержку хостинга.

Проверить результат можно пройдя по адресам:

http://www.site.ru/robots.txt
http://другое_имя_сайта_из_мультисайтинга.ru/robots.txt
и т.п.

Если все работает, то результаты должны отличаться.

К слову, есть и более сложный вариант реализации управления файлом robots.txt

Выбирайте, кому какой ближе и удобней.

Опубликовано VladSavitsky в пт, 24/10/2008 - 21:39.

Подшиваем такое решение!...

• Для комментирования войдите или зарегистрируйтесь

Опубликовано Demimurych в сб, 25/10/2008 - 10:22.

интересно, кто то еще принимает во внимания правила из робост тикст. ?
гугл на них кладет с высокой горки например

• Для комментирования войдите или зарегистрируйтесь

Опубликовано WiseMan в сб, 25/10/2008 - 13:55.

Возможно гугл на них кладет, но для рунета уже весьма важно, что Яндекс правилам из robots.txt придает значение.

И даже более того, ввел свое правило для указания главного зеркала сайта.

• Для комментирования войдите или зарегистрируйтесь

Опубликовано VladSavitsky в сб, 25/10/2008 - 15:12.

Я так понял, что можно использовать так:

общие правила
...
<!--#if expr=" \"${HTTP_HOST}\" = \"www.site.ru\" " -->
правила специфичные для сайта site.ru
...
<!--#endif -->

Да?

• Для комментирования войдите или зарегистрируйтесь

Опубликовано WiseMan в сб, 25/10/2008 - 23:32.

Конечно. Весьма хороший вариант, чтобы не плодить лишнего.

• Для комментирования войдите или зарегистрируйтесь

Опубликовано fasdalf@fasdalf.ru в пн, 27/10/2008 - 13:26.

надо запомнить...

• Для комментирования войдите или зарегистрируйтесь

Опубликовано Valeratal в ср, 18/11/2009 - 04:28.

пригодится

• Для комментирования войдите или зарегистрируйтесь

Опубликовано alexmethod в пн, 04/01/2010 - 03:27.

error

• Для комментирования войдите или зарегистрируйтесь

Опубликовано egrik в ср, 06/01/2010 - 05:29.

alexmethod, что за ошибка то?
На хостинге вы имеете доступ для исполнения SSI?
Вы настроили SSI, чтобы он "обрабатывал" txt файлы, а не только (по умолчанию) shtml?

• Для комментирования войдите или зарегистрируйтесь

Опубликовано PVasili в сб, 16/01/2010 - 11:22.

"Demimurych" написал(а):

гугл на них кладет с высокой горки например

хм... не замечал. в вебмастере все ошибки вываливает и все директивы для себя выполняет

• Для комментирования войдите или зарегистрируйтесь