Robot txt adalah – Jika berbicara mengenai optimasi website, robots.txt merupakan suatu file yang harus diperhatikan penggunanya. Karena, robot.txt merupakan portal yang membuat search engine untuk mengakses konten di situs Anda. Jangan sampai konten penting yang ada pada situs website Anda, justru tidak terindeks dan tidak muncul di seach engine.
Pastinya, bagi Anda yang mengelola website pastinya tidak menginginkan hal tersebut. Jadi, penting bagi Anda untuk mempelajarinya, bagaimana cara menggunakan dan lainnya. Artikel ini merupakan artikel yang sesuai untuk Anda. Karena, artikel kali ini akan membahas mengenai.
Apa Itu Robot.txt?
Sebelum masuk ke penjelasan lebih lanjut, Anda harus mengetahui terlebih dahulu definisinya. Robot.txt adalah kode atau file yang digunakan untuk memberi instruksi kepada bot search engine. Instruksi kepada bot search engine. Instruksi tersebut biasanya untuk menjalankan web crawling, dengan menggunakan spider. Agar, situs URL yang ada didalamnya bida terindeks.
Jika situs website Anda tidak terindeks oleh mesin pencarian maka website tersebut tidak muncul di halaman search engine Google. Robot.txt juga dapat menentukan software web crawling (user agent_ mana yang bisa menelusuri sebuah website.
Perbedaan Robot.txt dan SEO
Jika dilihat dari pengertiannya, SEO dan robot.txt merupakan dua hal berbeda. SEO merupakan proses dimana suatu konten dapat muncul di hlaman teratas di mesin pencarian. Sementara itu robot.txt merupakan kode-kode yang berbentuk teks, yang berfungsi sebagai memberikan instruksi kepada bot mesin pencarian.
Jika dilihat dari perbedaanya, terlihat bahwa robot.txt memiliki kaitan erat untuk menunjang SEO dari sebuah konten di website.
Fungsi Robot.txt
Setelah mengetahui fungsi pentingnya SEO, maka untuk memaksimalkan komponen SEO tentunya sangat membantu website untuk bertahan. Tanpa adanya SEO atau robot.txt, maka fungsi dari website tidak akan bekerja dengan maksimal. Tidak optimalnya penggunaan SEO dan robot.txt tentunya bisa mengakibatkan website Anda menjadi lemah untuk memasarkan produk.
Alasan Membutuhkan Robot.txt
Setelah membaca pengertiannya, Anda pastinya sudah mengetahui mengapa robot.txt penting. Sebenarnya, pada website yang masih baru dibangun tidak terlalu membutuhkannya. Tapi, bukan berarti tidak boleh menggunakannya sama sekali. Dengan menggunakannya, maka Anda bisa mendapatkan beberapa manfaat untuk website Anda, yaitu seperti:
- Mencegah melakukan crawling pada konten duplikat
- Meringankan server
- Untuk memastikan bagian dari situs wevsite yang sepenuhnya private, untuk melakukan tes dan pengaturan
- Mencegah munculnya gambar atau video di hasil pencarian Google pada kategori “All”
Baca Juga: Crawling Artinya, Kenali Pengertian dan Lainnya di Sini!
Cara Setting Robot.txt di WordPress
Untuk Anda pengguna WordPress, Anda bisa mengatur filenya dengan mengunggah secara manual file yang sudah ditentukan. Terdapat cara lainnya yang bisa And alakukan yaitu dengan menggunakan plugin SEO yang Anda gunakan saat ini. Lalu bagaimana langkah untuk mengatur filenya secara manual? Berikut ini adalah caranya:
Membuat File Robot.txt
Anda bisa membuat file dan kemudian simpanlah robot.txt terlebih dahulu, caranya seperti.
- User-agent:*
- Disallow: /wp-admin/
- Allow: /wp-admin/admin-ajax.php
- Sitemap: https://www.namawebsiteAnda.com/sitemap_index.xml
Unggah File ke Server Hosting
Setelah sudah membuatnya, Anda harus memasukkan file tersebut melalui FTP Cpanel atau Anda juga dapat melalui admin hosting. Untuk mencoba apakah sudah berhasil atau belum, Anda bisa melakukan testing dengan mengetiki namadomainAnda/robots.txt.
Submit di Google Search Console
Hal yang tidak boleh dilupakan adalah memasukkan sitemap dan juga robot.txt Anda ke Google Search Console, agar keterbacaan pada website Anda semakin mudah.
Mengatur Robot.txt Melalui Plugin Yoast SEO
Selanjutnya Anda bisa mengaturnyamelalui plugin Yoast, jika anda belum memiliki plugin tersebut, sebaiknya Anda menginstallnya terlebih dahulu.
- Install Plugin Yoast SEO pada WordPress.
- Tekan SEO-Tools, kemudian akan muncul beberapa pilihan.
- Klik File Editor.
- Kemudian Anda akan diarahkan untuk membuat filenya, kemudian anda bisa mengaturnya sesuai dengan kebutuhan.
Cara Setting Robot.txt untuk Blogspot
Jika Anda menggunakan blogspot, Anda bisa mengikuti bagaimana caranya melakukan pengaturannya pada Blogspot berikut ini:
- Masuk ke pengaturan blog.
- Klik search preferences, kemudian cari customs robot txt.
- Jika sudah, klik enable kemudian pilih yes.
- Selanjutnya, Anda hanya memasukan pengaturan file robot.txt.
Sekian ulasan mengenai robot.txt. Semoga ulasan di atas dapat bermanfaat untuk Anda, dalam memahaminya lebih lanjut.
Anda ingin membuat website, tanpa perlu pusing memikirkan masalah robot.txt, website maintenance, dan lainnya? Anda bisa gunakan jasa pembuatan website di Jakarta yaitu DOTNEXT. Tidak hanya itu, DOTNEXT juga memiliki jasa yang lainnya seperti jasa SEO, pembuatan konten media sosial, dan lainnya.
Klik , untuk melakukan konsultasi.
