KontenWeb: Robots.txt

Penulis
- April 12, 2020
Pegiat SEO yang aktif tentu mendalami tentang GoogleBot dan bagaimana cara crawler google bekerja, meskipun algoritma  google disebut sebagai rahasia perusahaan, sedikit banyak google juga memberitahukan bagaimana crawler atau bot mereka secara umum melalui web tools yang di kembangkan google untuk membantu pengguna mereka khusus nya web developer.
Ada banyak cara memahami algoritma google melalui googlebot (crawler google) yang dipublikasikan secara umum, salah satunya adalah dengan tool pengecekan crawler acces di webmaster.

Disana anda dapat mengetahui apakah situs web dan halaman-halaman anda dapat di akses dan dirayapi oleh semua jenis googlebot yang berfungi memaksimalkan peng-index-an situs dan halaman konten.

Cara Cek Akses Googlebot (all type)

  1. Masuk ke akun google anda, dan Buka GoogleBot Cheker
  2. Kemudian periksa URL website dan halaman konten anda dengan. Pastikan semua googlebot dapat mengakses halaman anda. Lihat gambar dibawah ini agar lebih jelas.
Cek Akses Googlebot Via Robots.txt Cheker
Cek Akses Googlebot Via Robots.txt Cheker
Crawler google (googlebot) memang memiliki kemampuan untuk menemukan situs-situs baru dan konten-konten baru dengan sendirinya. Meskipun demikian kesalahan penerapan robots.txt dapat menghambat dan mencegah crawler google untuk merayapi dan mengindex halaman dan konten anda.

Maka dari itu saya sangat merekomendasikan GoogleBot Cheker ini kepada semua pengelola website untuk memastikan situs dapat di akses dan dirayapi oleh GoogleBot guna memaksimalkan peng-index-an situs dan halaman konten website.

Saya harap ini dapat memberikan manfaat dan menambah wawasan kita semua tentang pengoptimalan mesin telusur dan memahami algoritma google yang bisa berubah kapan mereka mau, Terimakasih telah mengunjungi kontenweb.com dan sampai jumpa kembali.

Penulis
- Oktober 13, 2019
Ads.txt - Setelah beberapa bulan tidur kini saya kembali mencangkul blogger dan melakukan perawatan kepada situs blog ini. Tidak diduga bahwa ternyata ada sesuatu yang baru di platform blogger yang sangat menarik untuk di bahas yaitu ads.txt. Ketika saya membuka setelan blogger pada bagian preference penelusuran saya melihat tab Monetisasi yang dibawah-nya tertera fitur ads.txt dan kemudian mencoba mengaktifkan ads.txt tersebut.

Apa itu ads.txt? Ads.txt atau ads.txt kustom adalah sebuah inisiatif yang dikembangkan oleh IAB Tech Lab (Interactive Advertising Bureau - Tech Lab), yang bertujuan untuk memerangi beberapa jenis penipuan iklan, terutama spoofing domain dan arbitrase inventaris yang tidak sah, dan memberikan transparansi dalam industri yang tidak jelas.

Berdasarkan yang saya ketahui ads.txt dirilis pada bulan Mei 2017, proyek ads.txt dirancang untuk membersihkan rantai pasokan periklanan online, membantu merek dan pengiklan membeli media digital asli dengan percaya diri, dan mempersulit penipu untuk memperoleh keuntungan dari menjual inventaris yang bukan miliknya.

Pada awal nya ads.txt hanya ditujukan untuk domain tld saja, akan tetapi diawal tahun 2018 "ads.txt" juga diresmikan untuk sub-domain seperti blogspot.

Cara Mengaktifkan Ads.txt Untuk Blogger

  1. Login ke dasboard Blogger
  2. Klick Setelan > Pilih Preferensi penelusuran
  3. Gulir kebawah dan lihat pada bagian "Monetisasi"
  4. Pada Bagian ads.txt kustom klick "Edit"
  5. Aktifkan ads.txt kustom pilih "Ya"
  6. Isi kotak text yang tersedia dengan kode ads.txt dibawah ini dan simpan setelan.
Kode Untuk Mengaktifkan Ads.txt
[code type="Ads.txt"]google.com, pub-9999999999999910, DIRECT, f08c47fec0942fa0[/code] Catatn Penting: Ganti "9999999999999910" dengan id penayang atau id publisher kamu sendiri, lihat contoh gambar dibawah ini sebagai panduan memasang ads.txt.

Apakah wajib bagi setiap blogger atau publisher adsense meng-aktive kan ads.txt di dalam situs mereka? Berdasarkan Google answer nomor 7532444 ads.txt tidak wajib digunakan, namun bagi kamu yang belum diterima google adsense boleh saja mencoba meng-aktive kan ads.txt kustom lalu kemudian mendaftarkan situs anda kembali.

Manfaat ads.txt - Seperti yang dijelaskan diatas bahwa manfaat ads.txt adalah untuk memerangi beberapa jenis penipuan iklan dan arbitrase inventaris yang tidak sah serta mengidentifikasi inventaris palsu dan membantu kamu menerima lebih banyak pembelanjaan pengiklan yang pada kasus lain mungkin mengarah ke inventaris palsu.

Cara kerja Authorized Digital Sellers atau disebut dengan ads.txt mungkin tidak jauh berbeda dengan robots.txt berfungsi sebagai crawl atau robot perayap ads (authorized digital sellers) yang tentu nya memberi manfaaf baik bagi pengguna nya. Namun jika pada robots.txt kita memiliki akses yang luas maka, pada ads.txt kita hanya bisa meng-aktifkan nya saja dan tidak memiliki akses yang banyak tentang ads.txt.

Nah, sekarang kamu sudah mengertikan "apa itu ads.txt" dan bagaimana cara menggunakan-nya? Demikian penjelasan saya mengenai "apa yang dimaksud dengan ads.txt dan cara meng-aktifkan ads.txt pada platform blogger", lebih dan kurang saya mohon maaf dan semoga ini menambah pengetahuan kita dalam mengelola situs blog dan adsense, good luck for you...!

Penulis
- Oktober 13, 2019
Setting Robots.txt Untuk Adsense - Artikel tentang robots.txt yang telah saya publikasikan beberapa hari yang lalu menjelaskan bagaimana cara / setting default robots.txt berdasarkan webmaster google dan pada kesempatan ini saya ingin menjelaskan kembali "setting robots.txt" untuk mendaftar adsense dan mengatasi masalah iklan adsense yang disebabkan karena pemblokiran perayap adsense oleh robots.txt.
Hapus User-agent: Mediapartners-Google Sebelum Mendaftar Adsense
Salah satu kunci sukses dalam periklanan adsense / mendaftarkan situs web ke adsese adalah dengan menyetting robots.txt agar tidak bertentangan dengan perayap adsense. Google memiliki banyak jenis spider atau bot (perangkat lunak yang digunakan Google untuk memproses dan mengindeks konten laman web) diantara nya adalah perayap adsense.

Jadi jika situs web merupakan mitra adsense atau akan mendaftar ke adsense sebaik-nya berikan akeses 100% ke perayap adsense untuk meng-crawl / mengakses semua bagian situs web Anda.

Setting Robots.txt Untuk Adsense

Jika situs menggunakan robots.txt default seperti yang saya jelaskan pada artikel sebelumnya silahkan hapus dua baris berikut dari file robots.txt;
[code type="Robots.txt"]User-agent: Mediapartners-Google
Disallow:[/code]
Dengan menghapus dua baris robots.txt akan memungkinkan perayap adsense mengakses konten situs web dan menyediakan iklan adsense pada situs web tersebut. Metode (settings robots.txt) ini merupakan rekomondasi google adsense dan dapat dipastikan ini tidak melanggar apapun dari kebijakan google adsense.

Merangkum semua artikel robots.txt

Saya paham anda mungkin sedikit pusing melihat artikel robots.txt yang berbeda-beda, Secara keseluruhan "final" settings robots.txt yang dapat saya jelaskan di situs web ini adalah sebagai berikut;
[code type="Robots.txt"]User-agent: *
Disallow: /search
Allow: /
Sitemap: https://yoursite.blogspot.com/sitemap.xml[/code]
Hanya gunakan file robots.txt seperti diatas pada setting robots.txt blogger dan webmaster jika situs web merupakan mitra google adsense atau ingin mendaftar adsense agar perayap adsense dapat merayapi laman situs web dan menampilkan iklan yang relevan di situs tersebut.

Perlu diingat jangan daftarkan situs jika baru saja merubah file robots.txt, tunggulah satu bulan setelah perubahan untuk memastikan perayap adsense telah kembali merayapi situs web anda.

Melihat Pengaturan Robots.txt Situs Web Lain

Saya fikir kamu mungkin perlu melihat pengaturan robots.txt dari situs web lain yang telah sukses di search engine dan periklanan google adsense untuk meyakinkan anda menyetting robots.txt anda. Ketik pada address bar browser google chrome example: site_target_name.blogspot.com/robots.txt untuk melihat pengaturan robots.txt dari situs web lain.

Copy and Open in new tab link below

www.tribunnews.com/robots.txt
www.viva.co.id/robots.txt

Demikian yang dapat saya jelaskan mengenai hubungan antara robots.txt dengan perayap adsense serta cara setting robots.txt yang baik dan benar berdasarkan pedoman google adsense. Semoga bermanfaat dan sampai jumpa kembali. Jangan lupa untuk subscribe & follow situs ini dengan email anda untuk mendapatkan informasi berikutnya.
x