Robotstxt

一个做独立站的朋友找到我，说他的服务器负载异常，流量突然暴涨却没有订单。排查后发现，原来是被各种爬虫疯狂爬取，一天的服务器费用直接翻了三倍