Cara Menambahkan Robot.Txt Di Blogger

Assalamualaikum wr. wb

Selamat siang hari ini saya akan membuat artikel tip-trick ngeblog tema kali ini adalah  Robots.txt.

Di blogger ini dikenal sebagai Kustom Robots.txt itu berarti sekarang agan-agan blogger dapat menyesuaikan file ini sesuai dengan pilihan. Dalam tutorial hari ini, kita akan membahas istilah ini di dalam dan datang untuk mengetahui tentang penggunaan dan manfaat. Saya juga akan memberitahu agan Blogger bagaimana untuk menambahkan file kustom robots.txt di blogger.

Langsung saja kita nebuju tutorialnya ok !!!

Apa Robots.txt?

Robots.txt adalah file teks yang berisi beberapa baris kode sederhana. Hal ini disimpan di website atau server blog yang menginstruksikan web crawler untuk bagaimana indeks dan merangkak blog Agan dalam hasil pencarian. Itu berarti Anda dapat membatasi halaman web di blog Anda dari crawler web sehingga tidak bisa mendapatkan diindeks di mesin pencari seperti halaman label blog Anda, halaman demo Anda atau halaman lain yang tidak penting untuk mendapatkan diindeks. Selalu ingat bahwa crawler pencarian memindai file robots.txt sebelum merangkak halaman web.

Setiap blog host di blogger memiliki file robots.txt default yang merupakan sesuatu yang terlihat seperti ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Penjelasan Tentang kode Robot.txt

Kode ini dibagi menjadi tiga bagian. Mari studi pertama masing-masing setelah itu kita akan belajar bagaimana menambahkan file kustom robots.txt di blog blogspot.

User-agent: Mediapartners-Google

Kode ini adalah untuk robot Adsense Google yang membantu mereka untuk melayani iklan yang lebih baik di blog Agan. Entah Agan menggunakan Google Adsense di blog Agan atau tidak hanya meninggalkan itu seperti itu.

Agen pengguna: *

Ini adalah untuk semua robot yang ditandai dengan tanda bintang (*). Dalam pengaturan default blog kita label link dibatasi untuk diindeks oleh crawler pencarian itu berarti web crawler tidak akan mengindeks halaman label kami link karena kode di bawah ini.

Disallow: /search

Itu berarti link memiliki kata kunci pencarian setelah nama domain akan diabaikan. Lihat di bawah contoh yang merupakan link dari halaman label bernama SEO.

https://www.bloggertipstricks.com/search/label/SEO 

Dan jika kita menghapus Disallow: / search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua konten dan halaman web-nya.

Here Allow: / mengacu pada Homepage yang berarti web crawler bisa merangkak dan homepage indeks blog kita.

Disallow Particular Post

Sekarang kira jika Agan ingin mengecualikan pos tertentu dari pengindeksan maka kita dapat menambahkan di bawah garis dalam kode.

Disallow: /yyyy/mm/post-url.html

Berikut yyyy dan mm mengacu pada tahun penerbitan dan bulan pos masing-masing. Misalnya jika kita telah menerbitkan sebuah posting pada tahun 2013 di bulan Maret maka kita harus menggunakan bawah Format.

Disallow: /2013/03/post-url.html

Untuk membuat tugas ini mudah, Anda hanya dapat menyalin URL posting dan menghapus nama blog dari awal.

Larangan khusus Halaman

Jika kita perlu melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan menghapus alamat blog dari itu yang akan sesuatu terlihat seperti ini:

Disallow: /p/page-url.html

Catatan: sitemap ini hanya akan memberitahu web crawler tentang baru-baru ini 25 posting. Jika Anda ingin meningkatkan jumlah link dalam sitemap Anda kemudian mengganti sitemap default dengan di bawah satu. Ia akan bekerja untuk pertama 500 posting terbaru.

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Jika Anda memiliki lebih dari 500 posting diterbitkan di blog Anda maka Anda dapat menggunakan dua peta situs seperti di bawah ini:

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

 Kustom robots.txt untuk Blogger

Sekarang bagian utama dari tutorial ini adalah bagaimana menambahkan robots.txt khusus di blogger. Jadi di bawah ini adalah langkah-langkah untuk menambahkannya.

Pergi ke blog blogger Anda.

Arahkan ke Settings >> Cari Preferences >> Crawlers dan pengindeksan >> Kustom robots.txt >> Sunting >> Ya

Sekarang paste kode file robots.txt Anda dalam kotak.

Klik tombol Save Changes.

Kamu selesai!

Seperti gambar Berikut ini 

Sekian dulu artikel yang saya buat semoga artikel ini membantu agan-agan dalam belajar ngeblog, saya meminta maaf bila ada kesalahan dalam pembuatan artikel ini sekian dan terima kasih.

Assalamualaikum Wr. Wb.