No.1389
https://tools.nishishi.com/personal/toda...
Googleに関してはこれで解決するとして、metaタグを読まない行儀の悪いクローラーに対しては、それとは別の施策を取らなければいけないとなる。
metaタグを入れつつ、htaccessで行儀の悪いクローラーだけを弾くのが検索避けとしては最強ってことになるだろうか。
（metaタグを読まないようなクローラーはrobots.txtも読まないことの方が多いので、最初から弾いた方が確実であると思っている）
私は海外をまるっと弾きたいと考えているので、ちょっと記述が煩雑になるなあ……注意が必要だ。
#サイト作成メモ
Googleに関してはこれで解決するとして、metaタグを読まない行儀の悪いクローラーに対しては、それとは別の施策を取らなければいけないとなる。
metaタグを入れつつ、htaccessで行儀の悪いクローラーだけを弾くのが検索避けとしては最強ってことになるだろうか。
（metaタグを読まないようなクローラーはrobots.txtも読まないことの方が多いので、最初から弾いた方が確実であると思っている）
私は海外をまるっと弾きたいと考えているので、ちょっと記述が煩雑になるなあ……注意が必要だ。
#サイト作成メモ