The
Robot Exclusion Standard,
atau sering kita kenal sebagai Robots Exclusion Protocol atau robots.txt
protokol, adalah sebuah konvensi untuk mencegah web crawler bekerja
sama dengan robot web lain untuk mengakses semua atau bagian dari sebuah
website yang jika dilihat secara terbuka.
Robot sering digunakan mesin pencari untuk
mengkategorikan dan mengarsip situs web, atau web master untuk mengkoreksi
Source code. Dari beberapa artikel yang saya baca, penggunanan robot.txt ini
sangat berguna untuk mendongkrak SEO blog kita.
Misalkan ada halaman yang tidak ingin kita tampilkan kepada publik dan mesin pencari maka kita bisa memanfaatkan fungsi robot.txt ini untuk memblokir halaman tersebut. Blogger sudah mendukung fungsi ini dan ini menunjukkan bahwa blogger semakin memudahkan kita untuk optimasi SEO blog kita. Kalo belum mengerti juga, anda dapat mendaftarkan blog anda di google websmaster disini. Lalu liat pada kesalahan perayapan, fungsi pemblokiran akan dilakukan oleh robot.txt ini.
Misalkan ada halaman yang tidak ingin kita tampilkan kepada publik dan mesin pencari maka kita bisa memanfaatkan fungsi robot.txt ini untuk memblokir halaman tersebut. Blogger sudah mendukung fungsi ini dan ini menunjukkan bahwa blogger semakin memudahkan kita untuk optimasi SEO blog kita. Kalo belum mengerti juga, anda dapat mendaftarkan blog anda di google websmaster disini. Lalu liat pada kesalahan perayapan, fungsi pemblokiran akan dilakukan oleh robot.txt ini.
0 Komentar