Прежде чем с головой окунуться в процесс представления вашего сайта всевозможным поисковым системам, задумайтесь над тем, что не всегда удачной оказывается идея об автоматической индексации всего сайта в целом, т. е. всех страниц подряд, независимо от того, имеете ли вы дело с глобальной поисковой системой или внутренним механизмом поиска. Во-первых, вспомните о том, что некоторые страницы, такие, как, например, программы в каталоге Яндекс, вообще не нуждаются в индексировании. Во-вторых, некоторые страницы будут временными, поэтому их индексирование приведет к тому, что пользователи будут получать сообщение об ошибке 404, когда попытаются их обнаружить и попасть на них с помощью поисковой системы. Наконец, вы вряд ли захотите, чтобы пользователи заходили на каждую страницу, особенно в глубине сайта. Так называемое «глубокое связывание» может достаточно сильно сбивать с толку пользователей, попадающих на сайт с использованием глобальной системы поиска. Это происходит вследствие того, что они начинают из глубины сайта и не могут видеть основную или входную страницу, содержащие информацию, призванную сориентировать посетителей сайта.
Вероятно, наиболее сложным аспектом глобальных поисковых систем и утилит для автоматизированного сбора сайтов, таких как Web-браузеры, представляется тот факт, что поcледние могут быть использованы для организации на сайт атаки. Основным принципом большинства программ-пауков является чтение страниц и перемещение между ними, причем выполнение этого процесса с максимально возможной скоростью. Представьте, что вы заставили программу-паука «ползать» с максимальной скоростью на одном-единственном сайте. Постоянные запросы, поступающие от программы-паука на такой сервер, могут быстро вызвать его перегрузку, что приведет к тому, что он не сможет удовлетворить их все и будет отказывать в обслуживании запросам законных посетителей сайта. К счастью, большинство людей не являются настолько злонамеренными, когда речь идет об индексировании, но все-таки помните, что это может произойти неумышленно, когда программа-паук продолжает индексировать одну и ту же динамически генерируемую страницу.