Setting Robots TXT untuk Website Bisnis

Cara Setting Robot TXT pada Website Bisnis

CMS Wordpress adalah platform yang paling banyak digunakan untuk website bisnis. Bagi Anda yang menggunakan CMS ini, ada 3 cara setting robots.txt, yaitu:

1. Menggunakan Plugin All In One SEO Pack

Setting robots.txt bisa lebih mudah kalau Anda juga menggunakan plugin All In One SEO Pack.

Plugin adalah software atau perangkat lunak yang memiliki fungsi khusus, sehingga Anda cukup menginstalnya tanpa perlu memodifikasi halaman tertentu pada website.

Jika sudah memiliki plugin ini, Anda tinggal mengikuti langkah-langkah berikut:

• Instal dan langsung aktifkan plugin setelah terunduh.
• Aktifkan fitur robots.txt yang terdapat dalam menu All in One SEO.
• Setelah robots.txt sudah aktif, lanjutkan ke menu yang akan muncul di panel sebelah kiri layar. Langsung klik menu tersebut.
• Di dalam menu, Anda diberi opsi untuk menambahkan user-agent, directory-path, dan rules type. Nantinya, ketiga opsi tersebut akan masuk ke file robots.txt. 

2. Menggunakan Plugin Yoast SEO

Yoast SEO adalah plugin yang fungsinya hampir sama dengan All in One SEO Pack. Cara setting robots.txt menggunakan plugin Yoast, yaitu:

• Instal plugin Yoast SEO. Lalu aktifkan.
• Buka menu SEO, pilih tab Tools, nanti akan ada beberapa opsi menu yang tertampil.
• Klik opsi File Editor, lalu Anda akan diarahkan ke halaman baru di mana Anda bisa mengedit file .htaccess tanpa keluar dari dashboard.
• Di halaman file editor, klik menu Create robots.txt file. Menu ini akan membawa Anda ke halaman editor yang baru. Di sini, Anda bisa mengubah file robots.txt secara langsung.
• Tambahkan rules sesuai kebutuhan situs web. Namun, saat menambah atau menghapus, jangan lupa tekan tombol save changes to robots.txt.

3. Mengupload File secara Manual

Di Wordpress, Anda juga bisa mengunggah file robots.txt secara manual melalui FTP. Berikut caranya:

• Buat dulu file robots.txt, bisa menggunakan aplikasi notepad. Caranya: masukkan rules sesuai kebutuhan, kemudian klik save, dan beri nama robots.txt.
• Masuk ke folder website di hosting. 
• Cari folder public_html. 
• Kemudian unggah file robots.txt dari komputer ke server hosting menggunakan FTP.
• Untuk mengunggah file-nya, Anda bisa klik kanan pada file menggunakan navigator lokal file FTP, lalu klik upload.
• Tunggu hingga proses pengunggahan selesai.

Sebenarnya FTP merupakan salah satu dari sekian cara untuk mengunggah file robots.txt. Cara lainnya, gunakan layanan akses cPanel.

Cara Memeriksa File Robots.txt Berjalan dengan Baik

Langkah terakhir yang sebaiknya tidak Anda lewatkan adalah memeriksa file robots.txt yang sudah dibuat dan terunggah.

Anda bisa melakukan pengecekan menggunakan Google search console (GSC). Tujuannya untuk mengetahui, apakah ada yang keliru atau tidak pada file yang sudah Anda unggah. Berikut langkahnya:

• Login ke akun Google search console, lalu buka tab robots.txt tester.
• Pada kolom yang tersedia, isi data file robots.txt sesuai dengan yang Anda atur di website, lalu pilih submit.
• GSC akan memeriksa apakah ada error atau tidak. 
• Jika ada error, akan muncul notifikasi yang bisa Anda lihat di halaman tersebut.

Kegunaan robots.txt bisa mengarahkan bot mesin pencari untuk melakukan crawling dan indexing hanya pada halaman atau direktori yang Anda tentukan. Tanpa pengaturan yang tepat, website tidak bisa diindeks dengan benar oleh mesin pencari Google.

Akibatnya, kualitas dan visibilitas website akan menurun apabila dilihat dari pandangan Google. Selain itu, website bisnis yang tidak terindeks, tidak mungkin ada di peringkat teratas hasil pencarian.

Itulah pentingnya mengetahui cara setting robots.txt. Kalau masih merasa kesulitan, gunakan saja jasa SEO profesional dari salah satu digital marketing agency Jakarta, Indonesia. Atau kalau Anda takut salah pilih, mending hubungi Kontak Redcomm untuk hasil yang lebih baik.

Tentang Redcomm Indonesia

Redcomm Indonesia adalah salah satu digital agency Indonesia yang berhasil meraih penghargaan Silver untuk kategori Indonesia Digital Agency Of The Year 2023 dan Indonesia Independent Agency Of the Year 2023.

Ini merupakan penghargaan ke-6 yang diterima Redcomm dalam enam tahun berturut-turut setelah di tahun 2018 hingga 2023 sebagai Agency of the Year. 

Penghargaan tersebut diraih di penghujung tahun 2020. Saat itu, Campaign Asia mengumumkan para pemenang Agency of The Year 2020 untuk Asia Pacific. 

Ajang tahunan ini merupakan ajang penghargaan internasional bergengsi untuk para pelaku industri periklanan, media, dan komunikasi  yang diadakan sejak 1990 untuk kawasan APAC, EMEA dan UK. 

Para juri  ajang ini berasal dari berbagai praktisi senior di industri marketing, periklanan dan media di Asia Pacific, dan penilaian para juri ditabulasi oleh PwC Singapura.

Penghargaan yang Redcomm Indonesia raih membuktikan kontribusi Redcomm dalam membantu pemilik bisnis di Indonesia dan di luar negeri untuk mendapatkan exposure yang baik di mesin pencari sekaligus di mata masyarakat.