Robots txt: Fungsi dan Cara Setting Robots txt

Untuk optimasi sebuah website ada banyak elemen di dalamnya yang perlu Anda pantau dan Anda pastikan bekerja dengan baik, mulai dari struktur web, kecepatan website, UI/UX, dan sebagainya. Berikutnya yang juga penting adalah melakukan pengaturan pada file robots txt agar konten di dalam situs web dapat terindeks di Google. Tentunya akan sangat rugi jika artikel yang sudah di-publish tidak terindeks Google, bukan? 

Kegunaan dari robots txt juga dapat menaikkan peringkat situs dalam Search Engine Result Pages (SERP). Hal ini karena, robots txt memiliki peranan yang cukup besar saat Anda melakukan optimasi SEO,. 

Apa Itu Robots Txt?

Sebelum melakukan pengaturan robots txt untuk website, mari kita bahas dulu pengertian robots txt. Jadi, robots txt merupakan gabungan dua kata, antara robots dengan txt (text). Artinya, ini adalah kode atau file yang memberikan perintah kepada robots search engine agar melakukan indexing. Perintah yang dimaksudkan di sini agar Google melakukan crawling terhadap setiap URL yang ada di dalam web tersebut, termasuk URL mana saja yang tidak boleh diindeks.

Alasan kenapa harus memberitahu Google, halaman mana saja yang harus di crawl dan tidak boleh indexing, karena Googlebot memiliki limit perayapan. Sehingga ketika tidak memasukan file robots txt, tidak menutup kemungkinan URL yang seharusnya diindeks malah tidak dirayapi mesin pencari google. 

Peran penting lainnya dari robots txt, yaitu tanpa adanya perintah Googlebot memerlukan banyak waktu dalam melakukan indexing.

Fungsi Robots Txt

Adapun fungsi robots txt, yaitu:

• Memberikan perintah kepada google untuk melakukan perayapan/crawling terhadap halaman situs tertentu.
• Mencegah mesin pencari google melakukan crawling pada duplikat konten.
• Membatasi indexing untuk halaman situs tertentu agar beban server menjadi ringan. 

Istilah-Istilah Robots txt

Ada beberapa istilah mengenai robots txt yang perlu Anda ketahui, di antaranya:

• User-Agent, untuk mendeskripsikan jenis / nama robot yang akan diberikan instruksi untuk melakukan perayapan. 
• Disallow, memberikan perintah kepada User-Agent agar tidak melakukan crawling pada halaman tertentu.
• Allow, untuk memberikan izin ke mesin pencari Google agar melakukan indexing pada halaman maupun subfolder, walaupun folder utama tidak diizinkan indexing. 
• Crawl-delay, untuk mengatur kecepatan Google dalam melakukan crawling.
• Sitemap, untuk memberitahu lokasi peta situs XML yang berkaitan dengan URL.

Cara Setting Robots txt

Setelah memahami apa itu robots txt, Anda bisa mulai melakukan pengaturan pada situs agar mesin pencari Google melakukan tugas terbaiknya saat merayapi situs Anda. Berikut ini cara setting robots txt untuk Wordpress dan Blogspot 

Cara Setting Robots Txt untuk Wordpress

Untuk pengguna Wordpress, mengatur file robots txt dengan menggugah secara manual file yang sudah ditentukan. Cara lain yang lebih mudah bisa dengan menggunakan plugin SEO yang Anda gunakan saat ini, seperti plugin Yoast SEO dan All in One SEO Pack.

Mengatur File Robots Txt Secara Manual

Cara manual setting robots txt di Wordpress, yaitu menggunakan FTP dari CPanel. Adapun langkah-langkah pengaturannya. 

1. Membuat File Robots txt

Buat file dan simpan robots.txt terlebih dahulu seperti di bawah ini.

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.pe-we.com/sitemap_index.xml

Note: Silahkan ganti alamat situs di atas sesuai alamat web Anda. 

2. Unggah File ke Server Hosting

Setelah membuat file robots txt, Anda perlu memasukkan file melalui FTP Cpanel atau dapat juga melalui admin hosting. Untuk mencoba sudah berhasil atau belum, bisa testing dengan mengetik namadomain/robots.txt.

3. Submit ke Google Search Console

Jangan lupa memasukkan sitemap dan robots.txt Anda pada Google Search Console, agar keterbacaan pada web Anda semakin mudah.

Mengatur Robots txt Melalui Plugin Yoast

• Instal Plugin Yoast SEO.
• Klik SEO-Tools, lalu akan muncul beberapa pilihan klik File Editor. 
• Dari File Editor, Anda akan diarahkan untuk membuat file robots txt. Silakan buat pengaturan sesuai kebutuhan. 

Cara Setting Robots txt untuk Blogspot

Untuk pengguna Blogspot, ikuti cara setting robots txt berikut:

• Masuk ke setting atau pengaturan blog. 
• Klik Search Preferences, lalu cari customs robots txt. 
• Pada customs robots txt, klik enable dan pilih yes. 
• Selanjutnya, Anda tinggal memasukan pengaturan file robots txt seperti di bawah ini:

Note: ganti URL situs dengan alamat situs anda. 

Demikian cara setting robots txt di Wordpress maupun Blogspot? Dengan memasukkan file robots txt pada situs, maka Googlebot akan melakukan perayapan sesuai yang diperintahkan.