Рассмотрим ситуацию когда новый сайт уже сверстан, основные страницы наполнены, и нужно сделать какие то первые основные действия которые помогут дальше сайту жить хорошо, без возможных его болячек, типа – дубли страниц или не корректная индексация.

Что конкретно нам всегда требуется, прочее опционально, так что рассматривать все возможности не будем, только основное.

Но обо всё по порядку. Рассмотрим первичную настройку сайта:

1. Проверяем есть ли у нас на всех страницах вывод – title, description, keywords (хотябы title у нас должен быть везде заполнен)
2. Мелкий но очень приятный момент – кнопки – пусть у них будет эффект при наведении, люди глупые, им нужно помочь понять что это действительно кнопка – она реагирует на взаимодействие
3. Как только сайт создан и размещен на своём домене – ставим на сайт метрику (https://metrika.yandex.ru/list), что бы там заказчики ни говорили, но я остаюсь при своём – информер от метрики ставить не нужно, какая ни какая – это внешняя ссылка, и на нашем сайте она не нужна, смотрите статистику в личном кабинете, и не портите дзен, не нужной,  не красивой хреновинкой в углу сайта
4. Проверяем есть ли favicon.ico
5. Не ленимся и проверяем отправку с форм на сайте, приходят ли заявки, со всех ли полей для заполнения, все ли поля выводятся
6. На всякий случай желательно если проект большой в конце воспользоваться сервисом: https://developers.google.com/speed/pagespeed/insights/ - и всё еще раз проверить

Далее уже более конкретно:

robots.txt

Данный файл нам нужен в первую очередь для того, чтобы показать поисковым роботам – что на нашем сайте можно индексировать, а что нет, либо вообще пока запретить индексацию сайта.

Указываем host сайта – только домен, без http и слешей:

Host: www.site.ru

Указываем sitemap сайта:

Host: www.site.ru/sitemap.xml

Запретить индексацию сайта:

User-agent: *
Disallow: /

Разрешить индексацию сайта:

User-agent: *
Disallow: 

Закрываем от индексации некоторые дирректории сайта:

User-agent: *
Disallow: /cgi-bin/
Disallow: /blocks/
Disallow: /img/

sitemap.xml

Как часто обновлять, влияет ли он на индексацию и для чего он вообще – гуглите, это не научная статья.

Подробнее лучше ознакомиться тут:

https://support.google.com/webmasters/answer/156184?hl=ru

https://yandex.ru/support/webmaster/indexing-options/sitemap.xml

А теперь по делу – мы определились что sitemap.xml нам нужен, так что на первых парах генерируем его через сервис: https://www.xml-sitemaps.com/ - 500страниц бесплатно сам расставит приоритеты и соблюдая синтаксис напишет Вам отличный сайтмап, пользуйтесь.

.htaccess

В этом файле мы будем скрывать дубли страниц, делать редиректы с www и index страниц на главную как на того нужно. Рассмотрим пару частных случаев которые очень часто бывают.

Указываем основную кодировку сайта:

AddDefaultCharset UTF-8

Указываем 404 страницу, если человек заходит по не правильной или битой сыылке:

ErrorDocument 404 /404.html

Редирект с www на без www:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.site.ru
RewriteRule (.*) http://site.ru/$1 [R=301,L]

Редирект с index.php на site.ru  (то есть убираем дубль главной страницы):

RewriteEngine On
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP
RewriteRule ^index\.php$ http://site.ru/ [R=301,L]

cookie

И наверно последнее, в принципе хорошая штука, но бывает иногда замедляет скорость работы сайта, стоить ставить когда уже сайт полностью готов – указания – что и как кешировать на сайте:

    ExpiresActive On
    #по умолчанию кеш в 5 секунд
    ExpiresDefault "access plus 5 seconds"
    # Включаем кэширование изображений и флэш на месяц
    ExpiresByType image/x-icon "access plus 1 month"
    ExpiresByType image/jpeg "access plus 4 weeks"
    ExpiresByType image/png "access plus 30 days"
    ExpiresByType image/gif "access plus 43829 minutes"
    ExpiresByType application/x-shockwave-flash "access plus 2592000 seconds"
    # Включаем кэширование css, javascript и текстовых файлоф на одну неделю
    ExpiresByType text/css "access plus 604800 seconds"
    ExpiresByType text/javascript "access plus 604800 seconds"
    ExpiresByType application/javascript "access plus 604800 seconds"
    ExpiresByType application/x-javascript "access plus 604800 seconds"
    # Включаем кэширование html и htm файлов на один день
    ExpiresByType text/html "access plus 43200 seconds"
    # Включаем кэширование xml файлов на десять минут
    ExpiresByType application/xhtml+xml "access plus 600 seconds"