yabovip

在线网站robots.txt文件生成器

robots.txt生成器,robots.txt写法,robots协议
限制目录: 每个路径之前都要包含: "/"

Sitemap: 留空为无,谷歌为xml格式,百度为html格式

所有搜索引擎:
  • 允许
    拒绝
国内搜索引擎
  • 百度
    默认
    允许
    拒绝
  • SOSO
    默认
    允许
    拒绝
  • 搜狗
    默认
    允许
    拒绝
  • 有道
    默认
    允许
    拒绝
国外搜索引擎
  • 谷歌
    默认
    允许
    拒绝
  • Bing
    默认
    允许
    拒绝
  • 雅虎
    默认
    允许
    拒绝
  • Ask/Teoma
    默认
    允许
    拒绝
  • Alexa/Wayback
    默认
    允许
    拒绝
  • Cuil
    默认
    允许
    拒绝
  • MSN Search
    默认
    允许
    拒绝
  • Scrub The Web
    默认
    允许
    拒绝
  • DMOZ
    默认
    允许
    拒绝
  • GigaBlast
    默认
    允许
    拒绝
特殊搜索引擎(机器人)
  • Google Image
    默认
    允许
    拒绝
  • Google Mobile
    默认
    允许
    拒绝
  • Yahoo MM
    默认
    允许
    拒绝
  • Yahoo Blogs
    默认
    允许
    拒绝
  • MSN PicSearch
    默认
    允许
    拒绝

yabovipQINGJIANGYISHANGJIEGUOBAOCUNDAOJISHIBEN,MINGMINGWEIrobots.txtSHANGCHUANDAOWANGZHANGENMULU

工具简介

Robots.txt SHICUNFANGZAIZHANDIANGENMULUXIADEYIGECHUNWENBENWENJIAN。SUIRANTADESHEZHIHENJIANDAN,DANSHIZUOYONGQUEHENQIANGDA。TAKEYIZHIDINGSOUSUOYINQINGZHIZHUZHIZHUAQUZHIDINGDENEIRONG,HUOZHESHIJINZHISOUSUOYINQINGZHIZHUZHUAQUWANGZHANDEBUFENHUOQUANBUNEIRONG。

使用方法:

Robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的。
例如: 如果您的网站地址是 http://www.yourdomain.com/那么,该文件必须能够通过 http://www.yourdomain.com/robots.txt 打开并看到里面的内容。

格式:

User-agent:

YONGYUMIAOSHUSOUSUOYINQINGZHIZHUDEMINGZI,ZAI" Robots.txt "WENJIANZHONG,RUGUOYOUDUOTIAOUser-agentJILUSHUOMINGYOUDUOGESOUSUOYINQINGZHIZHUHUISHOUDAOGAIXIEYIDEXIANZHI,DUIGAIWENJIANLAISHUO,ZHISHAOYAOYOUYITIAOUser-agentJILU。RUGUOGAIXIANGDEZHISHEWEI*,ZEGAIXIEYIDUIRENHESOUSUOYINQINGZHIZHUJUNYOUXIAO,ZAI" Robots.txt "WENJIANZHONG,"User-agent:*"ZHEIYANGDEJILUZHINENGYOUYITIAO。

Disallow:

YONGYUMIAOSHUBUXIWANGBEIFANGWENDAODEYIGEURL,ZHEIGEURLKEYISHIYITIAOWANZHENGDELUJING,YEKEYISHIBUFENDE,RENHEYIDisallowKAITOUDEURLJUNBUHUIBEIRobotFANGWENDAO。

JULI:

LIYI: "Disallow:/help"SHIZHI/help.html HE/help/index.htmlDOUBUYUNXUSOUSUOYINQINGZHIZHUZHUAQU。

yabovipLIER: "Disallow:/help/"SHIZHIYUNXUSOUSUOYINQINGZHIZHUZHUAQU/help.html,ERBUNENGZHUAQU/help/index.html。

LISAN: DisallowJILUWEIKONGSHUOMINGGAIWANGZHANDESUOYOUYEMIANDOUYUNXUBEISOUSUOYINQINGZHUAQU,ZAI"/robots.txt"WENJIANZHONG,ZHISHAOYAOYOUYITIAODisallowJILU。RUGUO"/robots.txt"SHIYIGEKONGWENJIAN,ZEDUIYUSUOYOUDESOUSUOYINQINGZHIZHU,GAIWANGZHANDOUSHIKAIFANGDEKEYIBEIZHUAQUDE。

#:Robots.txt XIEYIZHONGDEZHUSHIFU。

ZONGHELIZI :

LIYI: TONGGUO"/robots.txt"JINZHISUOYOUSOUSUOYINQINGZHIZHUZHUAQU"/bin/cgi/"MULU,YIJI "/tmp/"MULUHE /foo.html WENJIAN,SHEZHIFANGFARUXIA:

User-agent: *

Disallow: /bin/cgi/

Disallow: /tmp/

yabovipDisallow: /foo.html

LIER: TONGGUO"/robots.txt"ZHIYUNXUMOUGESOUSUOYINQINGZHUAQU,ERJINZHIQITADESOUSUOYINQINGZHUAQU。RU: ZHIYUNXUMINGWEI"slurp"DESOUSUOYINQINGZHIZHUZHUAQU,ERJUJUEQITADESOUSUOYINQINGZHIZHUZHUAQU "/cgi/" MULUXIADENEIRONG,SHEZHIFANGFARUXIA:

User-agent: *

yabovipDisallow: /cgi/

User-agent: slurp

Disallow:

yabovipLISAN: JINZHIRENHESOUSUOYINQINGZHUAQUWODEWANGZHAN,SHEZHIFANGFARUXIA:

User-agent: *

Disallow: /

LISI: ZHIJINZHIMOUGESOUSUOYINQINGZHUAQUWODEWANGZHANRU: ZHIJINZHIMINGWEI“slurp”DESOUSUOYINQINGZHIZHUZHUAQU,SHEZHIFANGFARUXIA:

User-agent: slurp

Disallow: /

robots.txt是什么:
robots.txt是一个协议,而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的,也可以指定sitemap的路径。
当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 Google和百度官方建议,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。
robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。robots.txt必须遵循robots.txt协议使用标准语法,严格按照用法来编写,不然会造成搜索引擎无法访问你的网站。
robots.txt文件的格式
"robots.txt"文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:
   <field><optional space><value><optional space>
在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:
User-agent:
该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受 到"robots.txt"的限制,对该文件来说,至少要有一条User-agent记录。 如果该项的值设为*,则对任何robot均有效, 在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中,加入"User- agent:SomeBot"和若干Disallow、 Allow行,那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

Disallow:
该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。 例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help /index.html,而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html, 不能访问 /help/index.html。"Disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一 条Disallow记录。如果"/robots.txt"不存在或者为空文件, 则对于所有的搜索引擎robot,该网站都是开放的。

Allow:
该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。 例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、 /hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用, 实现允许访问一部分网页 同时禁止访问其它所有URL的功能。

使用"*"and"$":
Baiduspider支持使用通配符"*"和"$"来模糊匹配url。
"$" 匹配行结束符。
"*" 匹配0或多个任意字符。
robots.txt文件参考资料
robots.txt文件的更具体设置,请参看以下链接:




yabovip 博电竞 泛亚体育 泛亚体育 龙虎28 博亚平台 博亚平台 `