robotstxt(robotstxt爬虫协议)

怎样找到robots.txt这个文件夹,修改它

在网站的根目录下，找到下载下来修改完了上传覆盖即可。

你直接建一个文件，把他覆盖也可以。

如果没找到，直接新建一个就行了，有的网站没这个文件。

渗透测试，网站安全robots.txt

说明你进去的可能是镜像站点或者缓存站点,而不是真正的网站

问题解决了，是蜜罐，不是缓存

robots.txt有什么作用

武汉seo发现很多企业网站没有robots.txt这个文件，也不知道robots.txt是什么，这个文件有什么作用。今天我就和大家详细说下这个文件吃及他的作用。1.什么是robots.txt Baidu作出的回答，robots.txt是一个必须放在根目录底下的纯文本文件，文件名必须全部是小写的字母即“robots.txt”，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。2.robots.txt有什么作用 1.SEO中引导搜索蜘蛛抓取网站地图，更好地收录网站页面。2.禁止所有搜索蜘蛛抓取你网站的所有内容或者是指定目录。3.robots.txt用法举例 1. 允许所有搜索引擎收录本站：robots.txt为空就可以，什么都不要写。2.禁止某个搜索引擎收录本站，例如禁止百度： User-agent: Baiduspider Disallow: / 3.禁止所有搜索引擎收录本站 User-agent: * Disallow: / 4.禁止所有搜索引擎收录网站的某些目录： User-agent: * Disallow: /目录名1/ Disallow: /目录名2/ Disallow: /目录名3/ 参考资料：常见搜索引擎机器人Robots名字 名称 搜索引擎 Baiduspider Googlebot MSNBOT ia_archiver 文章来源： 当一个搜索机器人访问一个网站时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。对于有些页面没必要让搜素引擎抓去 比如 联系方式， 登陆界面 评论界面...

什么是robots.txt?检查robots.tx有什么作用吗？

robots.txt文件会告诉蜘蛛程序在服务器上什么文件是可以被查看的什么文件是不允许查看的。举一个简单的例子：当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面你好！

为搜索引引擎的爬行而设定的，如果没有那么网站很难被收录，甚至在搜索上找不到。比如百度来搜你的网站的时候，第一站就是来到你那个robots.txt文件，如果没有，那么它就走了，对网站的网络操作很不利

仅代表个人观点，不喜勿喷，谢谢。