Apa Itu Robots Txt?
Sebelum melakukan pengaturan robots txt untuk website, mari kita bahas dulu pengertian robots txt. Jadi, robots txt merupakan gabungan dua kata, antara robots dengan txt (text). Artinya, ini adalah kode atau file yang memberikan perintah kepada robots search engine agar melakukan indexing. Perintah yang dimaksudkan di sini agar Google melakukan crawling terhadap setiap URL yang ada di dalam web tersebut, termasuk URL mana saja yang tidak boleh diindeks.

Alasan kenapa harus memberitahu Google, halaman mana saja yang harus di crawl dan tidak boleh indexing, karena Googlebot memiliki limit perayapan. Sehingga ketika tidak memasukan file robots txt, tidak menutup kemungkinan URL yang seharusnya diindeks malah tidak dirayapi mesin pencari google.
Peran penting lainnya dari robots txt, yaitu tanpa adanya perintah Googlebot memerlukan banyak waktu dalam melakukan indexing.
Fungsi Robots Txt
Adapun fungsi robots txt, yaitu:
- Memberikan perintah kepada google untuk melakukan perayapan/crawling terhadap halaman situs tertentu.
- Mencegah mesin pencari google melakukan crawling pada duplikat konten.
- Membatasi indexing untuk halaman situs tertentu agar beban server menjadi ringan.
Istilah-Istilah Robots txt
Ada beberapa istilah mengenai robots txt yang perlu Anda ketahui, di antaranya:
- User-Agent, untuk mendeskripsikan jenis / nama robot yang akan diberikan instruksi untuk melakukan perayapan.
- Disallow, memberikan perintah kepada User-Agent agar tidak melakukan crawling pada halaman tertentu.
- Allow, untuk memberikan izin ke mesin pencari Google agar melakukan indexing pada halaman maupun subfolder, walaupun folder utama tidak diizinkan indexing.
- Crawl-delay, untuk mengatur kecepatan Google dalam melakukan crawling.
- Sitemap, untuk memberitahu lokasi peta situs XML yang berkaitan dengan URL.
Cara Setting Robots txt
Setelah memahami apa itu robots txt, Anda bisa mulai melakukan pengaturan pada situs agar mesin pencari Google melakukan tugas terbaiknya saat merayapi situs Anda. Berikut ini cara setting robots txt untuk Wordpress dan Blogspot

Cara Setting Robots Txt untuk Wordpress
Untuk pengguna Wordpress, mengatur file robots txt dengan menggugah secara manual file yang sudah ditentukan. Cara lain yang lebih mudah bisa dengan menggunakan plugin SEO yang Anda gunakan saat ini, seperti plugin Yoast SEO dan All in One SEO Pack.
Mengatur File Robots Txt Secara Manual
Cara manual setting robots txt di Wordpress, yaitu menggunakan FTP dari CPanel. Adapun langkah-langkah pengaturannya.
-
Membuat File Robots txt
Buat file dan simpan robots.txt terlebih dahulu seperti di bawah ini.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.pe-we.com/sitemap_index.xml
Note: Silahkan ganti alamat situs di atas sesuai alamat web Anda.
-
Unggah File ke Server Hosting
Setelah membuat file robots txt, Anda perlu memasukkan file melalui FTP Cpanel atau dapat juga melalui admin hosting. Untuk mencoba sudah berhasil atau belum, bisa testing dengan mengetik namadomain/robots.txt.
-
Submit ke Google Search Console
Jangan lupa memasukkan sitemap dan robots.txt Anda pada Google Search Console, agar keterbacaan pada web Anda semakin mudah.
Mengatur Robots txt Melalui Plugin Yoast
- Instal Plugin Yoast SEO.
- Klik SEO-Tools, lalu akan muncul beberapa pilihan klik File Editor.
- Dari File Editor, Anda akan diarahkan untuk membuat file robots txt. Silakan buat pengaturan sesuai kebutuhan.
Cara Setting Robots txt untuk Blogspot
Untuk pengguna Blogspot, ikuti cara setting robots txt berikut:
- Masuk ke setting atau pengaturan blog.
- Klik Search Preferences, lalu cari customs robots txt.
- Pada customs robots txt, klik enable dan pilih yes.
- Selanjutnya, Anda tinggal memasukan pengaturan file robots txt seperti di bawah ini:
Note: ganti URL situs dengan alamat situs anda.
Demikian cara setting robots txt di Wordpress maupun Blogspot? Dengan memasukkan file robots txt pada situs, maka Googlebot akan melakukan perayapan sesuai yang diperintahkan.