Записки интернет-маркетолога. Часть 4. Топ-5 для сайта по SEO. Игорь Новицкий

создать файл robots. txt я помогу, а интегрировать его надо поручить человеку, который разбирается в этом. Так как файл должен лежать в папке на хостинге. И упаси вас Бог, сделать что – то не так по неопытности.

      Так для чего же все – таки необходим этот файл? Приведу простой пример и перенесем его на реальную жизнь. Роботы поиска приходят на ваш сайт и видят много, иногда очень много дверей. Под дверями я подразумеваю интернет – страницы. Они гадают, входить – не входить. Именно robots. txt показывает в какую дверь надо входить, а в какую нет.

      Помимо robots. txt жукам помогает карта сайта – sitemap. Она создается, чтобы роботы не «заблудились», а четко и быстро просканировали все нужные страницы. Карту тоже надо создавать в ручном порядке, спросите вы? Нет, ни карту, ни файл robots. txt, не надо создавать руками. Для этого есть бесплатные программы. Для sitemap: mysitemapgenerator.com. Для robots. txt: pr-cy.ru. С этими программами очень легко работать. Они сами за вас все создадут. Останется только отдать файлы человеку, который занимается технической поддержкой сайта.