Menghapus duplikat konten dari Google

Oleh | pada 27 Mar, 2014 | 6 Komentar

Ini adalah bagian overview dari Google Webmaster Tools yang mengatakan “Google saat ini tidak dapat mengakses halaman anda karena adanya pembatasan robots.txt”. Arghh!

Ini dikarenakan karena beberapa malam yang lalu, saya membuat beberapa perubahan pada situs untuk menghapus duplikat konten di Google. Google (dan mesin pencari lainnya) tidak suka duplikat konten, jadi dengan menghapus arsip halaman, kategori, feed, dll dari indeks mereka, saya harus mampu untuk mengurangi jumlah keseluruhan halaman dari situs ini yang terdaftar dan pada saat yang sama meningkatkan kualitas hasil telusur (posisi saya dan mudah-mudahan dalam indeks). Idealnya, saya dapat langsung menuju lokasi mesin pencari hanya untuk mengindeks halaman depan dan halaman posting.

Aku berdasarkan perubahan pada beberapa informasi di web saya yang menyebabkan beberapa masalah, jadi ini adalah apa yang saya lakukan dan catatan berikut ini, mudah-mudahan orang lain saya tidak akan mengulang kesalahan yang saya perbuat, namun terdapat pengecualian, gunakan petunjuk ini dengan hati-hati, Saya tidak bertanggung jawab jika orang lain melakukan kesalahan yang saya perbuat.

Duplikat

Pertama, saya membuat beberapa perubahan pada bagian <head> di WordPress template:

<?php if(is_single() || is_page() || is_home()) { ?>
<meta name=”robots” content=”all” />
<?php } else { ?>
<meta name=”googlebot” content=”noindex,noarchive,follow,noodp” />
<meta name=”robots” content=”noindex,noarchive,follow” />
<meta name=”msnbot” content=”noindex,noarchive,follow” />
<?php }?>

Karena konten yang dihasilkan WordPress secara dinamis, ini memberitahu mesin pencari mana yang harus di index, dan yang harus keluar, tergantung jenis halaman. Jadi, pada dasarnya, jika ini merupakan posting halaman, satu halaman, atau halaman muka maka Google akan mengindexnya, jika tidak mengikuti aturan yang sesuai untuk Google, MSN atau search engine lainnya, memberitahu mereka tidak mengindeks arsip atau halaman tetapi follow untuk setiap link, Google tidak menyertakan setiap informasi direktori. Hal ini berdasarkan saran dari askapache.com tetapi diubah karena standar perilaku untuk mengindeks spider, follow all, jadi saya tidak perlu menetapkan aturan khusus untuk Google dan MSN seperti pada contoh.

Selanjutnya, berikut nasihat untuk menggunakan robots.txt untuk menghindari duplikasi konten, saya mulai mengedit file robots.txt. Cukup untuk mengatakan bahwa hasil akhir akan terlihat pada web server dan bagi mereka yang berpikir bahwa penerbitan lokasi robots.txt adalah ide yang buruk (karena isi efektif adalah daftar tempat-tempat bahwa saya tidak ingin orang mengklik link tersebut), maka dari itu saya berpikir dengan cara seperti ini: robots.txt adalah standar banyak file di web server, oleh kebutuhan yang harus dibaca dan karena itu tidak boleh digunakan untuk tujuan keamanan.

Perubahan yang telah saya buat untuk memblokir folder tertentu:

Disallow: /blog/page
Disallow: /blog/tags
Disallow: /blog/wp-admin
Disallow: /blog/wp-content
Disallow: /blog/wp-includes
Disallow: /*/feed
Disallow: /*/trackback

Saya juga memblokir ekstensi file tertentu:

Disallow: /*.css$
Disallow: /*.html$
Disallow: /*.js$
Disallow: /*.ico$
Disallow: /*.opml$
Disallow: /*.php$
Disallow: /*.shtml$
Disallow: /*.xml$

Kemudian, saya memblokir URL yang mengandung “?”  Kecuali mereka yang diakhiri dengan “?:”

Allow: /*?$
Disallow: /*?

Masalahnya di <head> ini karena saya memblokir semua file yang menggunakan .php

Disallow: /*.php$

Contohnya http://www.netrix.freetzi.com/blog/ setara dengan http://www.netrix.freetzi.com/blog/index.php maka saya telah efektif menghentikan spider mengakses halaman index. Saya tidak yakin spider menyatakan halaman tersebut adalah duplikat. Saya menyelesaikan masalah ini dengan menggunakan file robots.txt yang mengijinkan file index.php terindex (dan beberapa file penting yaitu sitemap.xml)

Allow: /blog/index.php
Allow: /sitemap.xml

Ada juga bahwa wildcard (*,?) tidak membolehkan yang berlaku dan arahan robots.txt file sehingga akan gagal validasi. Setelah sedikit riset saya menemukan bahwa mesin pencari utama setiap ditambahkan dukungan untuk perangkat tambahan mereka sendiri ke robots.txt spesifikasi:

  • Google (Googlebot), Yahoo! (Slurp) and Ask (Teoma) support allow directives.
  • Googlebot, MSNbot and Slurp support wildcards.
  • Teoma, MSNbot and Slurp support crawl delays.

Oleh karena itu, saya membuat beberapa kode blok, satu untuk masing-masing mesin pencari utama dan menangkap semua spider, jadi struktur dasarnya adalah:

# Google
User-agent: Googlebot
# Tambahkan url disini

# MSN
User-agent: msnbot
# Tambahkan url disini

# Yahoo!
User-agent: Slurp
# Tambahkan url disini

# Ask
User-agent: Teoma
# Tambahkan url disini

# Untuk semua user-agent
User-agent: *
# Tambahkan url disini

Hanya untuk tambahan, saya menambahkan beberapa kode untuk Alexa archiver dan Google AdSense.

# Alexa archiver
User-agent: ia_archiver
Disallow: /

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Akhirnya, saya menemukan bahwa Google, Yahoo, ask.com dan Microsoft sekarang mendukung sitemap autodiscovery melalui robots.txt.

Label: DuplikatGoogleSeo cara menghapus duplikat kontencara menghapus konten yang tidak digunakanhapus duplikat aplikasihttps://www aplikasipc com/menghapus-duplikat-konten-dari-google/Mengahapus duplikat di server googlemenghapus teomaSpider tes aplikasi Google

Tentang Penulis

Netrix Ken

Netrix Ken
  • Profil Penulis

Menyukai dunia IT dan suka berbagi pengalaman melalui Internet.

Baca Juga

  • Tips Menghapus Toolbar Ask Pada Browser Komputer Anda

    Tips Menghapus Toolbar Ask Pada Browser Komputer Anda

    27 Jun, 2016 - 0 KomentarSecara umum hampir seluruh komputer atau PC Anda saat ini terinfeksi dengan adanya malware berupa
  • Download Google Chrome 5 Offline Installer

    Download Google Chrome 5 Offline Installer

    13 Agu, 2015 - 4 KomentarKita semua tahu tentang web browser Chrome baru dari Google yang telah jadi sangat populer di
  • Kebijakan Privasi

    Kebijakan Privasi

    20 Feb, 2012 - Komentar DitutupPada www.aplikasipc.com privasi dari pengunjung sangat penting bagi kami. Kebijakan privasi ini
  • Kesalahan sewaktu mengoptimalkan website

    Kesalahan sewaktu mengoptimalkan website

    31 Mei, 2016 - 7 KomentarSearch Engine Optimization (SEO) termasuk membuat halaman Web
  • Download Gratis Advanced Uninstaller Pro

    Download Gratis Advanced Uninstaller Pro

    27 Jun, 2016 - 2 KomentarApakah Anda tidak sadar menginstal toolbar browser seperti Babel atau Ask toolbar bersama dengan

6 Komentar ke "Menghapus duplikat konten dari Google"

  1. teguh berkata:

    bagus sekali mas…saya juga skg mengalami itu jadi bingung???
    sperti ini mas statiknya

    Googlebot 232 4.71 MB 21 Jun 2009 – 09:17
    Unknown robot (identified by ‘spider’) 18 329.64 KB 21 Jun 2009 – 13:02
    Yahoo Slurp 18 166.06 KB 21 Jun 2009 – 10:49
    Unknown robot (identified by empty user agent string) 8 186.17 KB 18 Jun 2009 – 07:16
    Unknown robot (identified by ‘robot’) 6 123.15 KB 18 Jun 2009 – 04:20
    Google Sitemaps 2 626 Bytes 10 Jun 2009 – 23:25
    MSNBot

    saya takutnya bandwith kita jadi k.o…

    mohon infonya mas!!!

  2. Nifan sunandar berkata:

    Bagaimana sih caranya menggunakan robot.txt dari webmaster google, cara merubah text disallow menjadi allow. Apa itu directory html? Dan cara upload robot.txt ke blog kita.

  3. mbah gendeng berkata:

    makasih y bos………..

  4. matping berkata:

    si p artikel nya boss.kalo untuk memblokir duplikat kontent.misal kita pakai autoblog ,nah kan terkadang ada postingan yg masuk ternyata dobel .kimana caranya agr robot hanya mengindex salah satunya saja.trims

Tinggalkan Komentar

Kirim Komentar

© 2016 AplikasiPC. Hak cipta dilindungi.
Dibawah lisensi AskNet Media.