Ada Apa Dibalik Google (bagian 4)

Hapus website Anda

Jika anda ingin mengecualikan seluruh situs anda atau sebagian (direktori) tertentu dalam server anda dari peng-indeks-an Google, Anda dapat menempatkan sebuah file dengan nama robots.txt pada direktori utama (root) server anda. Untuk mencegah Google atau mesin pencari lain mengindeks situs anda, tempatkan file robots.txt berikut ini pada direktori utama (root) server anda:

User-Agent: *
Disallow: /

Ini adalah protokol standar yang diperiksa oleh hampir semua mesin pengindeks web untuk mengecualikan suatu server atau direktori web dari pengindeksan. Informasi lebih jauh mengenai robots.txt dapat ditemui di: http://www.robotstxt.org/wc/norobots.html.

Google tidak akan pernah mengikut-sertakan website atau directory dari successive crawls jika ada file yang bernama robots.txt didalam web server root. Jika anda tidak mempunya akses ke level yang lebih tinggi (root level) di dalam server, anda bisa menyimpan file robot.txt dilevel yang sama seperti dengan file yang anda ingin buang. Dengan melakukan ini dan menyimpan melalui automatic URL system, akan menyebabkan kehilangan website anda temporary, selama 90 hari di Google index. (Menyimpan file robot.txt didalam level yang sama akan mengharuskan anda untuk kembali ke URL removal system setiap 90 hari sampai system itu berakhir.)

Menghapus halaman-halaman tertentu

Kalau anda tidak menginginkan semua robot melakukan indexing terhadap website anda, maka anda dapat menyimpan meta tag dibawah ini kedalam program HTML anda:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Kalau anda tidak menginginkan robots Google’s meng-index website anda, sehingga anda mau memakai robots mesin pencari lain, pakailah tag dibawah ini:

<META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW">

Sudah dulu ya semoga bermanfaat.

Bersambung………