RobotsTxt - модуль удобен для мультисайтинга на Drupal. Он позволяет прописывать свой robots.txt для каждого домена прямо из админ панели. Однако, у него был обнаружен баг при включенной опции производительности CMS Drupal 7 - "Сжатие кэшированных страниц" на странице /admin/config/development/performance.
Если включить данную опцию, то при попытке открыть /robots.txt любой анонимный пользователь скачает файл robots.txt с непонятным содержимым. В итоге поисковые роботы не смогут разобрать ваш robots.txt. Чтобы избежать этого необходимо отключить кеширование при генерировании текстового файла модулем RobotsTxt. Это можно сделать двумя способами:
Способ №1 - более простой
Установить модуль - CacheExclude. И добавить в исключения страницу /robots.txt.
Способ №2 - более сложный, но без установки лишних модулей
Необходимо прописать опцию:
$GLOBALS['conf']['cache']=FALSE;
Это можно сделать с помощью хука hook_robotsxtx() в любом вашем модуле. Либо прописав в самом модуле RobotsTxt (тогда придётся каждый раз при обновлении модуля восстанавливать данную строку).