Disallow - директива закрывающая доступ поисковых роботов к определенным документам/разделам сайта. Директива используется в файле robots.txt. На странице собраны ответы Google касающиеся disallow.
Можно использовать noindex или disallow для URL лицензии в Google Картинках
Некоторые сайты могут создавать уникальный URL-адрес лицензии для каждого изображения (если эти изображения имеют разные метаданные) хотя это не обязательно. Исполнение может отличаться в зависимости от CMS сайта, но всегда можно закрыть такие станицы от индексации через noindex и robots.txt и по-прежнему получать значок Licensable в поиске Google Картинки.
Если robots.txt временно выдаёт ошибку сервера, Google не будет сканировать сайт
Если файл robots.txt в течении короткого промежутка времени возвращает код ответа сервера с ошибкой, то Google не будет сканировать сайт пока снова не получит к нему доступ. Пока robots.txt недоступен, Google считает что в нем закрыт от сканирования весь сайт и уведомляет об этом в Search Console. Вы можете посмотреть запрос к файлу robots.txt в лог-файлах, чтобы понять как и когда это произошло, а также посмотреть код ответа сервера на каждый запрос Google.
Закрытые от сканирования страницы с входящими ссылками могут быть проиндексированы Google
Страницы, закрытые в файле robots.txt, не могут сканироваться роботом Googlebot. Однако, если на такие страницы есть ссылки, Google может посчитать что страницу стоит проиндексировать (даже несмотря на то, что она не может сканироваться).
