声讨百度爬虫不遵守搜索引擎robots.txt协议
在昨天画了一张2009年的情人节贺卡,几个小时后发现百度已经收录了。今晚在用百度的图片搜索找情人节素材时发觉自已画的那个贺卡被百度的图片搜索收录。我清楚记得自已站点的robots.txt是禁止搜索引擎收录我的上传的图片目录。
在昨天画了一张2009年的情人节贺卡,几个小时后发现百度已经收录了。今晚在用百度的图片搜索找情人节素材时发觉自已画的那个贺卡被百度的图片搜索收录。我清楚记得自已站点的robots.txt是禁止搜索引擎收录我的上传的图片目录。