robots文件往往放置於根目錄下,包含一條或更多的記錄,這些記錄通過空行分開（以cr,cr/nl,or nl作為結束符）,每一條記錄的格式如下所示。
"<field>:<optional space><value><optionalspace>"
在該文件中可以使用#進行註解,具體使用方法和unix中的慣例一樣.該文件中的記錄通常以一行或多行user-agent開始,後面加上若干disallow和allow行,詳細情況如下。
user-agent:該項的值用於描述搜尋引擎robot的名字.在"robots.txt"文件中,如果有多條user-agent記錄說明有多個robot會受到"robots.txt"的限制,對該文件來說,至少要有一條user-agent記錄.如果該項的值設為*,則對任何robot均有效,在"robots.txt"文件中,"user-agent:*"這樣的記錄只能有一條.如果在"robots.txt"文件中,加入"user-agent:somebot"和若干disallow、allow行,那麼名為"somebot"只受到"user-agent:somebot"後面的 disallow和allow行的限制。
disallow:該項的值用於描述不希望被訪問的一組url,這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以disallow項的值開頭的url不會被 robot訪問.例如"disallow:/help"禁止robot訪問/help.html、/helpabc.html、/help/index.html,而"disallow:/help/"則允許robot訪問/help.html、/helpabc.html,不能訪問/help/index.html."disallow:"說明允許robot訪問該網站的所有url,在"/robots.txt"文件中,至少要有一條disallow記錄.如果"/robots.txt"不存在或者為空文件,則對於所有的搜尋引擎robot,該網站都是開放的。
allow:該項的值用於描述希望被訪問的一組url,與disallow項相似,這個值可以是一條完整的路徑,也可以是路徑的前綴,以allow項的值開頭的url 是允許robot訪問的.例如"allow:/hibaidu"允許robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html.一個網站的所有url默認是allow的,所以allow通常與disallow搭配使用,實現允許訪問一部分網頁同時禁止訪問其它所有url的功能。
使用"*"and"$":baiduspider支持使用通配符"*"和"$"來模糊匹配url
"*"匹配0或多個任意字符。
"$"匹配行結束符。
最後需要說明的是:百度會嚴格遵守robots的相關協議,請注意區分您不想被抓取或收錄的目錄的大小寫,百度會對robots中所寫的文件和您不想被抓取和收錄的目錄做精確匹配,否則robots協議無法生效。
"<field>:<optional space><value><optionalspace>"
在該文件中可以使用#進行註解,具體使用方法和unix中的慣例一樣.該文件中的記錄通常以一行或多行user-agent開始,後面加上若干disallow和allow行,詳細情況如下。
user-agent:該項的值用於描述搜尋引擎robot的名字.在"robots.txt"文件中,如果有多條user-agent記錄說明有多個robot會受到"robots.txt"的限制,對該文件來說,至少要有一條user-agent記錄.如果該項的值設為*,則對任何robot均有效,在"robots.txt"文件中,"user-agent:*"這樣的記錄只能有一條.如果在"robots.txt"文件中,加入"user-agent:somebot"和若干disallow、allow行,那麼名為"somebot"只受到"user-agent:somebot"後面的 disallow和allow行的限制。
disallow:該項的值用於描述不希望被訪問的一組url,這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以disallow項的值開頭的url不會被 robot訪問.例如"disallow:/help"禁止robot訪問/help.html、/helpabc.html、/help/index.html,而"disallow:/help/"則允許robot訪問/help.html、/helpabc.html,不能訪問/help/index.html."disallow:"說明允許robot訪問該網站的所有url,在"/robots.txt"文件中,至少要有一條disallow記錄.如果"/robots.txt"不存在或者為空文件,則對於所有的搜尋引擎robot,該網站都是開放的。
allow:該項的值用於描述希望被訪問的一組url,與disallow項相似,這個值可以是一條完整的路徑,也可以是路徑的前綴,以allow項的值開頭的url 是允許robot訪問的.例如"allow:/hibaidu"允許robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html.一個網站的所有url默認是allow的,所以allow通常與disallow搭配使用,實現允許訪問一部分網頁同時禁止訪問其它所有url的功能。
使用"*"and"$":baiduspider支持使用通配符"*"和"$"來模糊匹配url
"*"匹配0或多個任意字符。
"$"匹配行結束符。
最後需要說明的是:百度會嚴格遵守robots的相關協議,請注意區分您不想被抓取或收錄的目錄的大小寫,百度會對robots中所寫的文件和您不想被抓取和收錄的目錄做精確匹配,否則robots協議無法生效。