网站robots.txt文件应该怎么写,有什么作用? robots.txt文件是为了告诉搜索引擎哪些页面是允许被访问和抓取的,哪些目录是不想被抓取的。robots.txt应放置于网站的根目录下。... 小优 2021-08-17 16:15:39 189