Mengenal Lebih Dalam Robots.Txt Khusus

Oktober 20, 2017    Meta Tag , Optimasi SEO   

Mengenal Lebih Dalam Robots.txt Khusus - Delapan belas bulan yang kemudian saya sudah menuliskan artikel perihal Cara memasang robots.txt khusus, namun disana saya belum menjelaskan secara spesifik mengenai robots.txt khusus tersebut dan kali ini saya akan mencoba membahas dan menjelaskan lebih dalam mengenai robots.txt khusus ini. Search engine menyerupai google contohnya intinya sudah mempunyai setelan default robots.txt pada robot crawl (perayap google).

Perintah yang paling fundamental pada robots.txt default perayap google ialah merayapi semua cuilan laman situs terkecuali laman pencarian (search). Itu sebabnya konten unik dari blogger pemula tetap sanggup terindex dan muncul dihasil pencarian google meskipun tanpa melaksanakan Submit url maupun Fetch as Google. Dan peran robots.txt khusus pada sebuah laman web ialah untuk membatasi perayapan yang dilakukan oleh robot crawl, itulah penyebab kenapa pengembang situs dianjurkan biar berhati-hati dalam menggunakan robots.txt khusus.

Mengenal Lebih Dalam Robots.txt Khusus

Bagaimana Contoh Robots.txt Default

Robots.txt Default Google sanggup dilihat melaui search console atau biasa disebut dengan webmaster tool, buatlah situs web gres tanpa robots.txt khusus kemudian tambahkan ke situs search console, kemudian verifikasi kepemilikan situs, kemudian buka tab Crawl pada search console dan lihat pada cuilan Robots.txt Tester.

Disana kau sanggup melihat pengaturan Robots.txt Default google dan kau sanggup menguji pengaturan Robots.txt tersebut dengan 7 bot google yaitu: Googlebot, Googlebot-News, Googlebot-Image, Googlebot-Video, Googlebot-Mobile, Mediapartners-Google, Adsbot-Google.
Lihat pola gambar dibawah ini;

Also Read

• Seo Blogger: Taktik Dan Cara Meningkatkan Pagerank
• Contoh & Cara Menempatkan Kata Kunci Pada Artikel
• Meta Keywords Blogger (Recommend)
• Mengenal Lebih Dalam Robots.Txt Khusus
• Meta Tag Hreflang Dan Cara Penerapan Nya
• Setting Meta Geo Tagging Website (Blogger)
• Manfaat Dan Cara Memakai Tag Dns Prefetch
• Penjelasan Lengkap: Domain Authority Dan Page Authority
• Tips Menciptakan Deskripsi Artikel Blog
• Mengenal Fungsi Rel=Nofollow Pada External Link

Robots.txt default

Jika pada ketika pengujian robots.txt tertera "diizinkan" itu artinya googlebot sanggup mengakses dan merayapi situs, kalau tertera "dicekal" itu artinya googlebot tidak diizinkan untuk merayapi url situs. Ujilah url situs anda dengan 7 jenis googlebot menyerupai diatas, kalau semua berstatus "diizinkan" maka pengaturan robots.txt tersebut sudah benar. Copy arahan robots.txt nya kemudian pasang ke pengaturan situs blogger anda biar tool penguji SEO (Search Engine Optimization) sanggup membacanya.

Kode Robots.txt Dasar (Default)

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://yoursitename.blogspot.com/sitemap.xml

Sekarang bagaimana contoh robots.txt khusus? Setelah mengetahui pengaturan default robots.txt maka sangat gampang untuk memahami robots.txt khusus, "Khusus" yang dimaksud pada pengaturan robots.txt ialah pengaturan optional dari pihak pengelola situs untuk mengatur jalan masuk robot crawl, misalnya;

Pada sebuah laman situs web terdapat halaman yang privasi atau bersifat diam-diam atau halaman yang berlawanan dengan kebijakan google, Nah, pada perkara menyerupai ini pengelola situs sanggup menggunakan robots.txt khusus untuk membatasi perayapan dan peng-index-an robot crawl pada laman tersebut.

Contoh:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/cepika-cepiki.html
Disallow: /document-privacy.html
Allow: /
Sitemap: https://yoursitename.blogspot.com/sitemap.xml

Perhatikan dua baris arahan "Disallow" yang ditandai dengan abjad tebal diatas ialah pola robots.txt khusus, kedua url tersebut tidak akan dirayapi oleh robot.crawl dan tidak ditampilkan pada laman hasil pencarian. Makara sangat sanggup dipahami kan bahwa robots.txt khusus merupakan pengaturan optional/pengaturan kita sendiri untuk membatasi jalan masuk robot crawl dalam merayapi situs kita.

Jika tidak ada laman yang bersifat diam-diam (privasi) maka kita tidak perlu melaksanakan pembatasan jalan masuk terhadap robot crawl (perayap google), Dianjurkan "cukup" gunakan pengaturan default robots.txt, sesudah benar-benar paham silahkan berkreasi dengan Robots.txt Khusus.

Upload File Robots.txt Khusus ke Webmaster (Search Console)

Bagaimana cara meng-update atau meng-upload robots.txt khusus dari situs blogger ke webmaster tool (search console)?

Memperbaharui robots.txt khusus baik itu menambah atau mengurangi robots.txt dilakukan melalui dashboard "settingan" blogger, kemudian kemudian masuk ke search console dan buka fitur robots.txt tester, tekan tombol submit untuk mengupdate / upload robots.txt. Biasanya akan muncul pop-up yang berisi 3 pilihan, silahkan pilih submit untuk pembaharuan robots.txt, sesudah akibat lakukan refresh pada search console untuk melihat hasilnya.

Baca Juga: Setting Robots.txt Untuk Adsense

Demikian klarifikasi perihal "robots.txt khusus" dari saya semoga bermanfaat dan menambah ilmu pengetahuan. Artikel ini saya dedikasikan kepada para blogger khususnya visitor yang menanyakan "kenapa kode robots.txt disini pendek sedangkan di situs tetangga sebelah panjang". Jika dipahami dengan benar maka artikel ini sudah cukup untuk menjawab-nya. Mohon maaf saya tidak mempublikasikan komentar dia lantaran tidak subscribe dulu gres komentar, sekian.