一直不知道是哪里的问题，还以为是因为有期货两个字的愿意被屏蔽了。前几天因为另外一个网站要设置robots.txt，看了这个网站没有，于是也放了一个上去。

今天无意中在用bing.com搜索的时候，发现居然都收录进去了，看来是因为之前没有robots.txt的原因导致bing.com不敢收录。

国外的公司还是比较遵守规则一些。