Cara Setting Robots.Txt Untuk Blogspot

Cara setting robots.txt untuk blogspot Robots.txt yaitu sebuah file teks yang bertugas menghentikan prosesi perayapan sebuah perangkat lunak. Dan robots.txt ini dipergunakan jikalau ada bab situs yang tidak ingin diindeks oleh Google atau mesin pencari laiinya.

Setiap blog sanggup melaksanakan setting robots.txt untuk sanggup memblok bab yang tidak ingin ditelusuri oleh Google, tetapi jangan lupa dengan resiko yang harus didapati jikalau memakai metode menyerupai ini.Penggunaan robots.txt ini utamanya yaitu untuk mesin telusur dari Googlebot dan perayap web yang lain yang sudah terpercaya.

Makara dengan kata lain, bahwa penggunaan file teks ini hanya untuk sebagian besar mesin telusur dan tidak seluruh mesin telusur di dunia ini. Dan tidak serta merta bahwa penggunaan robots.txt ini niscaya sanggup memblokir alamat URL yang diinginkan, alasannya yaitu masih terbuka kemungkinan URL sanggup dicrawl dari website yang lain. Kecuali melaksanakan metode pemblokiran dengan motode yang dikombinasikan dengan tag meta atau direktori yang terpasang password.

Oke, kembali ke cara setting robots.txt, jikalau Anda menginginkan / mensetting robots.txt maka saya akan share semoga Anda sanggup menerapkannya di blog Anda. Perlu diketahui bahwa jikalau settingan robots.txt tidak diaktifkan maka akan dianggap dalam keadaan default.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED

Dan jikalau ingin mencegah laman yang tidak ingin di craw sanggup dengan cara menambahkan " Disallow : "
Contoh :

Disallow : /p/about.html

Maka url   /p/about.html akan diblok oleh robots.txt

dan settingan sanggup dilakukan dengan masuk ke sajian blogger -> setelan -> preferensi penelusuran menyerupai gambar di bawah ini :

Jika menginginkan settingan default maka jangan klik "ya" , dan bila ingin membatasi craw url yang lain Anda harus mengklik "ya" dan tuliskan di bidang kosong sesudah itu klik simpan perubahan.

Berhati-hatilah dalam menciptakan settingan robots.txt ini , alasannya yaitu jikalau salah membuatnya maka akan diabaikan oleh mesin telusur.

Ok, demikianlah cara setting robots.txt untuk blogspot, semoga sanggup memperlihatkan manfaat.

Berbagi :