Cara Mengoptimalkan Robots.txt untuk SEO WordPress

Apakah Anda ingin menanyakan tips tentang cara mengoptimalkan file robots.txt untuk meningkatkan SEO. File Robots.txt memberi tahu mesin pencari cara merayapi situs web Anda yang menjadikannya alat SEO yang sangat kuat. 

Pada artikel ini, saya akan menunjukkan cara membuat file robots.txt yang sempurna untuk SEO.

Menggunakan file robots.txt WordPress untuk meningkatkan SEO

Apa itu file robots.txt?

Robots.txt adalah file teks yang dapat dibuat oleh pemilik situs web untuk memberi tahu bot mesin telusur cara merayapi dan mengindeks laman di situs mereka.

Biasanya disimpan di direktori root yang juga dikenal sebagai folder utama situs web Anda. Format dasar untuk file robots.txt terlihat seperti ini:

1
2
3
4
5
6
7
8
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]

Anda dapat memiliki beberapa baris petunjuk untuk mengizinkan atau melarang URL tertentu dan menambahkan beberapa Sitemap. Jika Anda tidak melarang URL, bot mesin pencari akan berasumsi bahwa mereka diizinkan untuk merayapinya.

Berikut adalah tampilan file contoh robots.txt:

1
2
3
4
5
6
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml

Pada contoh robots.txt di atas, saya telah mengizinkan mesin telusur untuk merayapi dan mengindeks file di folder unggahan WordPress saya.

Setelah itu, saya melarang bot penelusuran untuk merayapi dan mengindeks plugin dan folder admin WordPress.

Terakhir, saya telah menyediakan URL sitemap XML.

Apakah Anda Membutuhkan File Robots.txt untuk Situs WordPress Anda?

Jika Anda tidak memiliki file robots.txt, maka mesin pencari akan tetap merayapi dan mengindeks situs web Anda. Namun, Anda tidak akan dapat memberi tahu mesin telusur halaman atau folder mana yang tidak boleh mereka crawl.

Ini tidak akan berdampak banyak saat Anda pertama kali memulai blog dan tidak memiliki banyak konten.

Namun seiring pertumbuhan situs web Anda dan Anda memiliki banyak konten, Anda mungkin ingin memiliki kontrol yang lebih baik atas bagaimana situs web Anda dirayapi dan diindeks.

Inilah alasannya.

Bot pencarian memiliki kuota penjelajahan untuk setiap situs web.

Ini berarti mereka merayapi sejumlah laman selama sesi perayapan. Jika mereka tidak selesai merayapi semua laman di situs Anda, mereka akan kembali dan melanjutkan perayapan di sesi berikutnya.

Ini dapat memperlambat laju pengindeksan situs web Anda.

Anda dapat memperbaikinya dengan melarang bot pencarian untuk mencoba merayapi halaman yang tidak perlu seperti halaman admin WordPress, file plugin, dan folder tema.

Dengan melarang halaman yang tidak perlu, Anda menghemat kuota penjelajahan Anda. Ini membantu mesin telusur merayapi lebih banyak laman di situs Anda dan mengindeksnya secepat mungkin.

Alasan bagus lainnya untuk menggunakan file robots.txt adalah ketika Anda ingin menghentikan mesin pencari mengindeks posting atau halaman di situs Anda.

Ini bukan cara teraman untuk menyembunyikan konten dari masyarakat umum, tetapi ini akan membantu Anda mencegahnya muncul di hasil penelusuran.

Seperti Apa Bentuk File Robots.txt yang Ideal?

Banyak blog populer menggunakan file robots.txt yang sangat sederhana. Kontennya dapat bervariasi, tergantung pada kebutuhan situs tertentu:

1
2
3
4
5
User-agent: *
Disallow:
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

File robots.txt ini memungkinkan semua bot mengindeks semua konten dan memberi mereka tautan ke Sitemap XML situs web .

Untuk situs WordPress, saya merekomendasikan aturan berikut di file robots.txt:

1
2
3
4
5
6
7
8
9
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Ini memberi tahu bot pencarian untuk mengindeks semua gambar dan file WordPress. Itu melarang bot pencarian dari mengindeks file plugin WordPress, area admin WordPress, file readme WordPress, dan tautan afiliasi.

Dengan menambahkan sitemap ke file robots.txt, Anda mempermudah bot Google untuk menemukan semua halaman di situs Anda.

Sekarang setelah Anda tahu seperti apa file robots.txt yang ideal, mari kita lihat bagaimana Anda dapat membuat file robots.txt di WordPress.

Bagaimana Cara Membuat File Robots.txt di WordPress?

Ada dua cara untuk membuat file robots.txt di WordPress. Anda dapat memilih metode yang paling sesuai untuk Anda.

Metode 1: Mengedit File Robots.txt Menggunakan Yoast SEO

Jika Anda menggunakan plugin Yoast SEO , plugin ini dilengkapi dengan generator file robots.txt.

Anda dapat menggunakannya untuk membuat dan mengedit file robots.txt langsung dari area admin WordPress Anda.

Cukup buka halaman SEO > Tools di admin WordPress Anda dan klik link File Editor.

Alat editor file di Yoast SEO

Pada halaman selanjutnya, halaman Yoast SEO akan menampilkan file robots.txt Anda yang sudah ada.

Jika Anda tidak memiliki file robots.txt, maka Yoast SEO akan membuatkan file robots.txt untuk Anda.

Buat file robots.txt menggunakan Yoast SEO

Secara default, generator file robots.txt Yoast SEO akan menambahkan aturan berikut ke file robots.txt Anda:

1
2
User-agent: *
Disallow: /

Hal ini penting bahwa Anda menghapus teks ini karena blok semua mesin pencari merayapi situs web Anda.

Setelah menghapus teks default, Anda dapat melanjutkan dan menambahkan aturan robots.txt Anda sendiri. Saya merekomendasikan penggunaan format robots.txt ideal yang kami bagikan di atas.

Setelah Anda selesai, jangan lupa untuk mengklik tombol ‘Simpan file robots.txt’ untuk menyimpan perubahan Anda.

Metode 2. Edit file Robots.txt Secara Manual Menggunakan FTP

Untuk metode ini, Anda perlu menggunakan klien FTP untuk mengedit file robots.txt.

Cukup sambungkan ke akun hosting WordPress Anda menggunakan klien FTP.

Setelah masuk, Anda akan dapat melihat file robots.txt di folder root situs Anda.

Mengedit file robots.txt WordPress menggunakan FTP

Jika Anda tidak melihatnya, kemungkinan Anda tidak memiliki file robots.txt. Dalam hal ini, Anda dapat langsung membuat dan membuatnya.

Buat file robots.txt menggunakan FTP

Robots.txt adalah file teks biasa, yang berarti Anda dapat mendownloadnya ke komputer Anda dan mengeditnya menggunakan editor teks biasa seperti Notepad atau TextEdit.

Setelah menyimpan perubahan, Anda dapat mengunggahnya kembali ke folder root situs web Anda.

Bagaimana Menguji File Robots.txt Anda?

Setelah Anda membuat file robots.txt, selalu ada baiknya untuk mengujinya menggunakan alat penguji robots.txt.

Ada banyak alat penguji robots.txt di luar sana, tetapi sebaiknya gunakan salah satu yang ada di dalam Google Search Console .

Cukup masuk ke akun Google Search Console Anda, dan kemudian beralih ke situs web konsol pencarian Google lama.

Beralih ke Google Search Console lama

Ini akan membawa Anda ke antarmuka Google Search Console lama. Dari sini Anda perlu meluncurkan alat penguji robots.txt yang terletak di bawah menu ‘Perayapan’.

Alat penguji Robots.txt

Alat tersebut akan secara otomatis mengambil file robots.txt situs web Anda dan menyorot kesalahan dan peringatan jika ditemukan.

Pikiran Akhir

Tujuan mengoptimalkan file robots.txt Anda adalah untuk mencegah mesin telusur merayapi laman yang tidak tersedia untuk umum. Misalnya, halaman di folder wp-plugins Anda atau halaman di folder admin WordPress Anda.

Mitos umum di antara pakar SEO adalah bahwa memblokir kategori, tag, dan halaman arsip WordPress akan meningkatkan kecepatan perayapan dan menghasilkan pengindeksan yang lebih cepat dan peringkat yang lebih tinggi .

Ini tidak benar. Itu juga melanggar pedoman webmaster Google.

Saya menyarankan Anda mengikuti format robots.txt di atas untuk membuat file robots.txt untuk situs Anda.

Saya harap artikel ini membantu Anda mempelajari cara mengoptimalkan file robots.txt WordPress untuk SEO. 

Tinggalkan Balasan