Menghapus Duplikat Konten Dari Google

Oleh Netrix Ken
Seo

Ini adalah bagian overview dari Google Webmaster Tools yang mengatakan “Google saat ini tidak dapat mengakses halaman anda karena adanya pembatasan robots.txt”. Arghh!

Ini dikarenakan karena beberapa malam yang lalu, saya membuat beberapa perubahan pada situs untuk menghapus duplikat konten di Google. Google (dan mesin pencari lainnya) tidak suka duplikat konten, jadi dengan menghapus arsip halaman, kategori, feed, dll dari indeks mereka, saya harus mampu untuk mengurangi jumlah keseluruhan halaman dari situs ini yang terdaftar dan pada saat yang sama meningkatkan kualitas hasil telusur (posisi saya dan mudah-mudahan dalam indeks). Idealnya, saya dapat langsung menuju lokasi mesin pencari hanya untuk mengindeks halaman depan dan halaman posting.

Aku berdasarkan perubahan pada beberapa informasi di web saya yang menyebabkan beberapa masalah, jadi ini adalah apa yang saya lakukan dan catatan berikut ini, mudah-mudahan orang lain saya tidak akan mengulang kesalahan yang saya perbuat, namun terdapat pengecualian, gunakan petunjuk ini dengan hati-hati, Saya tidak bertanggung jawab jika orang lain melakukan kesalahan yang saya perbuat.

Duplikat

Duplikat

Pertama, saya membuat beberapa perubahan pada bagian <head> di WordPress template:

<?php if(is_single() || is_page() || is_home()) { ?>
<meta name=”robots” content=”all” />
<?php } else { ?>
<meta name=”googlebot” content=”noindex,noarchive,follow,noodp” />
<meta name=”robots” content=”noindex,noarchive,follow” />
<meta name=”msnbot” content=”noindex,noarchive,follow” />
<?php }?>

Karena konten yang dihasilkan WordPress secara dinamis, ini memberitahu mesin pencari mana yang harus di index, dan yang harus keluar, tergantung jenis halaman. Jadi, pada dasarnya, jika ini merupakan posting halaman, satu halaman, atau halaman muka maka Google akan mengindexnya, jika tidak mengikuti aturan yang sesuai untuk Google, MSN atau search engine lainnya, memberitahu mereka tidak mengindeks arsip atau halaman tetapi follow untuk setiap link, Google tidak menyertakan setiap informasi direktori. Hal ini berdasarkan saran dari askapache.com tetapi diubah karena standar perilaku untuk mengindeks spider, follow all, jadi saya tidak perlu menetapkan aturan khusus untuk Google dan MSN seperti pada contoh.

Selanjutnya, berikut nasihat untuk menggunakan robots.txt untuk menghindari duplikasi konten, saya mulai mengedit file robots.txt. Cukup untuk mengatakan bahwa hasil akhir akan terlihat pada web server dan bagi mereka yang berpikir bahwa penerbitan lokasi robots.txt adalah ide yang buruk (karena isi efektif adalah daftar tempat-tempat bahwa saya tidak ingin orang mengklik link tersebut), maka dari itu saya berpikir dengan cara seperti ini: robots.txt adalah standar banyak file di web server, oleh kebutuhan yang harus dibaca dan karena itu tidak boleh digunakan untuk tujuan keamanan.

Perubahan yang telah saya buat untuk memblokir folder tertentu:

Disallow: /blog/page
Disallow: /blog/tags
Disallow: /blog/wp-admin
Disallow: /blog/wp-content
Disallow: /blog/wp-includes
Disallow: /*/feed
Disallow: /*/trackback

Saya juga memblokir ekstensi file tertentu:

Disallow: /*.css$

Disallow: /*.html$
Disallow: /*.js$
Disallow: /*.ico$
Disallow: /*.opml$
Disallow: /*.php$
Disallow: /*.shtml$
Disallow: /*.xml$

Kemudian, saya memblokir URL yang mengandung “?” Kecuali mereka yang diakhiri dengan “?:”

Allow: /*?$
Disallow: /*?

Masalahnya di <head> ini karena saya memblokir semua file yang menggunakan .php

Disallow: /*.php$

Contohnya http://www.aplikasipc.com/blog/ setara dengan http://www.aplikasipc.com/blog/index.php maka saya telah efektif menghentikan spider mengakses halaman index. Saya tidak yakin spider menyatakan halaman tersebut adalah duplikat. Saya menyelesaikan masalah ini dengan menggunakan file robots.txt yang mengijinkan file index.php terindex (dan beberapa file penting yaitu sitemap.xml)

Allow: /blog/index.php
Allow: /sitemap.xml

Ada juga bahwa wildcard (*,?) tidak membolehkan yang berlaku dan arahan robots.txt file sehingga akan gagal validasi. Setelah sedikit riset saya menemukan bahwa mesin pencari utama setiap ditambahkan dukungan untuk perangkat tambahan mereka sendiri ke robots.txt spesifikasi:

  • Google (Googlebot), Yahoo! (Slurp) and Ask (Teoma) support allow directives.
  • Googlebot, MSNbot and Slurp support wildcards.
  • Teoma, MSNbot and Slurp support crawl delays.

Oleh karena itu, saya membuat beberapa kode blok, satu untuk masing-masing mesin pencari utama dan menangkap semua spider, jadi struktur dasarnya adalah:

# Google
User-agent: Googlebot
# Tambahkan url disini

# MSN

User-agent: msnbot
# Tambahkan url disini

# Yahoo!
User-agent: Slurp
# Tambahkan url disini

# Ask
User-agent: Teoma
# Tambahkan url disini

# Untuk semua user-agent
User-agent: *
# Tambahkan url disini

Hanya untuk tambahan, saya menambahkan beberapa kode untuk Alexa archiver dan Google AdSense.

# Alexa archiver

User-agent: ia_archiver
Disallow: /

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Akhirnya, saya menemukan bahwa Google, Yahoo, ask.com dan Microsoft sekarang mendukung sitemap autodiscovery melalui robots.txt.

DuplikatGoogleSeo spider aplikasi googlecara menghapus duplikat kontenhapus duplikat aplikasicara menghapus konten yang tidak digunakanmengahapus duplikat server googlemenghapus teomacara menerobos situs yang dilindungi robot txthttp dan https duplikat kontencara mengatasi web noindexcara hapus postingan artikel blog duplikat dobel

Tentang Penulis

Netrix Ken

Netrix Ken
  • Profil Penulis:

Menyukai dunia IT dan suka berbagi pengalaman melalui Internet.

Baca Juga

  • Tips Menghapus Toolbar Ask Pada Browser Komputer Anda

    Tips Menghapus Toolbar Ask Pada Browser Komputer Anda

    17 Mei 2024 - 0 Komentar
  • Kebijakan Privasi

    Kebijakan Privasi

    20 Feb 2012 - Komentar Ditutup
  • Download Google Chrome 5 Offline Installer

    Download Google Chrome 5 Offline Installer

    20 Apr 2019 - 4 Komentar
  • 6 Kesalahan Sewaktu Mengoptimalkan Website

    6 Kesalahan Sewaktu Mengoptimalkan Website

    19 Agu 2024 - 7 Komentar
  • Google Update Pagerank April 2010

    Google Update Pagerank April 2010

    23 Sep 2018 - 2 Komentar
  • Download Gratis Advanced Uninstaller Pro

    Download Gratis Advanced Uninstaller Pro

    1 Jan 2024 - 2 Komentar
  • Backlink meningkatkan PageRank?

    Backlink meningkatkan PageRank?

    4 Mei 2017 - 25 Komentar
  • Perbandingan WordPress dan blogger untuk SEO

    Perbandingan WordPress dan blogger untuk SEO

    6 Okt 2024 - 9 Komentar
  • Download Google Earth Pro Full Gratis Tanpa Serial

    Download Google Earth Pro Full Gratis Tanpa Serial

    17 Jul 2024 - 9 Komentar
  • Google Wave akan menjadi saingan Facebook

    Google Wave akan menjadi saingan Facebook

    4 Sep 2024 - 4 Komentar

Pertanyaan & Diskusi

Kirim Komentar

6 Komentar ke "Menghapus Duplikat Konten Dari Google"

  1. matping berkata:

    si p artikel nya boss.kalo untuk memblokir duplikat kontent.misal kita pakai autoblog ,nah kan terkadang ada postingan yg masuk ternyata dobel .kimana caranya agr robot hanya mengindex salah satunya saja.trims

  2. mbah gendeng berkata:

    makasih y bos

  3. Nifan sunandar berkata:

    Bagaimana sih caranya menggunakan robot.txt dari webmaster google, cara merubah text disallow menjadi allow. Apa itu directory html? Dan cara upload robot.txt ke blog kita.

  4. teguh berkata:

    bagus sekali mas…saya juga skg mengalami itu jadi bingung???
    sperti ini mas statiknya

    Googlebot 232 4.71 MB 21 Jun 2009 – 09:17
    Unknown robot (identified by ‘spider’) 18 329.64 KB 21 Jun 2009 – 13:02
    Yahoo Slurp 18 166.06 KB 21 Jun 2009 – 10:49
    Unknown robot (identified by empty user agent string) 8 186.17 KB 18 Jun 2009 – 07:16
    Unknown robot (identified by ‘robot’) 6 123.15 KB 18 Jun 2009 – 04:20
    Google Sitemaps 2 626 Bytes 10 Jun 2009 – 23:25
    MSNBot

    saya takutnya bandwith kita jadi k.o…

    mohon infonya mas!!!

© 2024AplikasiPC. Hak cipta dilindungi.
Dibawah lisensi AskNet Media.