Ronsen's Blog

When Google Bot's Love Becomes A Bad Thing

Thursday, August 28, 2014

Jadinya ceritanya situs web kecil-kecilan gua mati pas gua cek pagi-pagi. Eh, gua bangunnya agak siangan sih, sekitar jam setengah 12. Udah nggak pagi lagi yah? Eniwei, gua buka dasbor admin buat ngeliat apa gerangan yang terjadi. Pas gua liat log, ternyata Google Bot lagi sibut nge-crawl dengan kejamnya. Udah tau lagi down tetap aja sibuk nge-crawl. Istirahat kek dulu!



Akhirnya gua belajar banyak dari sini. Selalu bikin robots.txt dan definisikan URL apa yang bisa dan nggak bisa diakses oleh bot.