検索エンジンに登録されないようにする方法
robots.txt の設置
検索結果に登録されたくない事を、robots.txt ファイルを通じて検索エンジンに伝える事ができます。
robots.txt 記述例
ファイル名を「robots.txt」としてテキストファイルを作成し、下記のように記述します。
User-Agent: *
Disallow: /
全ての検索エンジン「User-Agent: *」に対し、サイト内のページを登録する事を拒否「Disallow: /」します。
設置例
作成した robots.txt ファイルは、public_html ディレクトリの直下に設置します。
例えば、http://wakana.nana.or.jp/~cycle/00/robots.txtで表示される事を確認してください。
<META> タグの記述
ブラウザや検索エンジンに情報を伝える <META> タグで、ページ毎に指定する事ができます。
HTML 記述例
各ページのHTMLファイルで、<head> タグ内に下記のように記述します。
<meta name="robots" content="noindex,nofollow,noarchive" />記述の意味
| noindex | 検索結果に登録しない |
|---|---|
| nofollow | ページ内のリンクを辿らない |
| noarchive | 検索エンジンのアーカイブ（キャッシュ）に登録しない |
<A> タグでリンクを拒否する
他のページへのリンクを記述する際に、リンクタグに「rel="nofollow"」を付ける事で、検索エンジンがリンクを辿る事を拒否できます。
HTML 記述例
<a href="http://example.web2.jp/" rel="nofollow">リンク先のサイト</a>
例えば、リンク先のサイトが検索避けを行っている場合は、リンクタグに「rel="nofollow"」を付けると喜ばれるかも知れません。
検索エンジンからのアクセスを制限する設定
設定ファイル .htaccess を使用する事で、検索エンジンからのアクセスを制限できます。
上記の robots.txt や meta タグとは違い、サーバー側で強制的にアクセスを拒否する方法です。
詳細は、マニュアル「.htaccess アクセス制御」をご参照ください。
.htaccess 記述例
検索エンジンのユーザーエージェントを、アクセス制限の対象に設定します。
SetEnvIf User-Agent "Googlebot" ng_ua
SetEnvIf User-Agent "bingbot" ng_ua
order Allow,Deny
Allow from all
Deny from env=ng_ua
ユーザーエージェントに「Googlebot」「bingbot」が含まれるアクセスを ng_ua に登録し、アクセス制限の対象に設定します。
パスワードによるアクセス制限を設定
サイトへのアクセスの際に、ユーザー名、パスワードの入力を求める事ができます。
検索エンジンは、パスワードで保護されたページ内にアクセスする事ができない為、検索結果に登録される事はありません。一番効果的と言えます。
詳細は、マニュアル「.htaccess アクセス制御」の「パスワード認証」をご参照ください。
検索結果の確認、削除リクエスト
「Google Search Console」を使用する事で、検索結果に登録されているか、robots.txt が正しく設置できているか、などを確認できます。 また、「検索結果からの削除リクエスト」を送る事もできます。
すべてを画像ファイルだけにする
サイトのファイルをすべて画像ファイルにする。
検索エンジンは、テキスト文字を検索するため、画像内の文字は判定できない。
注意事項
- 検索エンジンに登録済みの他サイトからリンクされている場合は、URLやリンクタイトルが検索エンジンに登録される事があります。
0 件のコメント:
コメントを投稿
注: コメントを投稿できるのは、このブログのメンバーだけです。