Cara Membuat Robots.txt Wordpress untuk SEO dan Adsense
Tulis Artikel! Bantu kami dengan cara tulis artikel. Jadi penulis Disini.

Cara Membuat Robots.txt WordPress untuk SEO dan Adsense

Last updated on Agustus 9th, 2017 at 01:17 pm

Cara Membuat Robots.txt WordPress untuk SEO dan Adsense – Bagi kalian yang sudah berkecimpung dalam dunia blogger khususnya wordpress pasti sudah akrab dengan kata “robots.txt”. Apalagi bagi mereka yang sudah mendaftarkan websitenya di google webmaster tools. Namun bagi kalian yang baru pertama kali mendengar kata ini, saya akan beri sedikit penjelasan tentang “robots.txt”.

Apa itu Robots.txt

Robots.txt adalah suatu file dengan format (.txt) yang lokasinya terletak di directory utama dari suatu website. Jika kalian menginstallnya website di public_html maka lokasi robots.txt ada di folder tersebut. Robots.txt hanya dapat bekerja jika diletakkan di directory utama (paling atas).

Robots.txt ini memiliki fungsi sebagai pengontrol masuknya bot suatu search engine pada saat fetching atau menelusuri keseluruhan isi suatu website. Fungsinya agar bot search engine hanya dapat menelusuri dan mengindex bagian-bagian website yang kita izinkan. Dan tidak akan mengindex bagian yang kita larang.

Baca juga: Cara Membuat SubDomain di cPanel Hosting dengan Mudah

Apakah Robots.txt Perlu Ada?

Berdasarkan penjelasan dari google. Robots.txt bisa digunakan dan bisa juga tidak digunakan. Jika suatu website terdapat robots.txt maka bot search engine akan mengakses robots.txt terlebih dahulu sebelum menelusuri suatu website. Sedangkan jika suatu website tidak terdapat robots.txt maka bot search engine akan langsung menelusuri isi suatu website.

Bisa dikatakan website itu seperti rumah dan robot.txt itu kita depan rumah. Nah, bot search engine itu adalah tamu yang datang ke website kita. Jadi kita bisa memberi izin apakah tamu tersebut boleh masuk ke kamar, ruang keluaga dll atau tidak.

Cara Kerja Robots.txt

Pada saat pertama kali kamu mendaftarkan website ke search engine atau ke google webmaster tools. Bot search engine akan melakukan perayapan ke website yang didaftarkan. Pada saat website akan di terlusuri maka bot search engine akan menanyakan terlebih dahulu ke robots.txt. Apa saja yang boleh dan tidak boleh ditelusuri setelah itu baru bot bekerja.

Robots.txt SEO untuk WordPress

Untuk membuat robots.txt secara manual kamu perlu mempelajari kode-kode dasarnya. Disini saya tidak akan menjelaskan kode tersebut karena sudah banyak yang bahas. Jadi saya langsung saja berikan filenya, karena saya yakin kamu juga maunya langsung-langsung saja. Silakan copy text dibawah ini untuk isi robots.txt.

User-agent:  *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /linkout/
Disallow: /recommended/
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /index.php
Disallow: /xmlrpc.php
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: https://www.technopada.com/sitemap.xml
sitemap: https://www.technopada.com/sitemap-image.xml
sitemap: https://www.technopada.com/sitemap-video.xml

Untuk sitemap silakan isi sesuai dengan url sitemap kamu. Url sitemap terkadang berbeda-beda tergantung plugin yang digunakan.

Cara mengedit isi Robots.txt

Untuk mengedit isi atau membuat file robots.txt dapat dilakukan dengan beberapa cara:

  1. Dapat dilakukan dengan cara mengupload file robots.txt yang sudah dibuat ke directory utama website. Bisa dilakukan dengan menggunakan file manager dari cpanel hosting.
  2. Dapat mengedit robots.txt dengan menggunakan plugin wordpress seperti Yoast atau sejenisnya. Bisa dicari di add new plugin.
  3. Dapat mengedit robots.txt melalui google search console di google webmaster tools.

Demikian artikel kali ini. Jika ada yang kurang dipahami silakan ditanyakan di kotak komentar.

Register Now: TOP 10 Web Hosting Providers

Dapatkan Hosting Murah dengan Kualitas Terbaik. For Serious Blogger! View All Deals

Provider Price Space/Transfer Features
$3.95 /mo Unlimited (both) In business since 1996. Free Domain SSH support (Secure Shell) » Get Host
$3.95 /mo Unlimited (both) In business since 2011. cPanel/WHM, Fantastico, ASP, Curl, Cron, Pay Monthly » Get Host