robots.txt
robots.txtの書き方｜内部SEOの改善に必要な２７の基礎知識と具体策
読ませないが基本
UA(ユーザーエージェント)や検索エンジンの制御(disallow)
データーをダウンロード出来ないようにさせる（FC2のやり方）
Disallow /(ルートパス)○○（フォルダ名）/○○/○○/_
|
○○ 下の階層にフォルダを入れる
robots.txtをトップドメインに仕掛けるとデーターを仕掛けると
制御出来るが、検索エンジンも読まなくなる。
検索させたい場合のrobots.txtの使い方
Sitemap:http://〜
index.html ----
|__robots.txt
|__sitemap.xml(xmlでなければ検索エンジンが反応しない)
Googleのツールを使用した場合はmetaも気をつけなければいけない。
- .ht access
- ベーシック認証（サーバー）
- robots.txt
(あまり使用されていないが重要度がある。)
