經濟觀察網 新華網天津頻道 10月14日 奇虎360進軍搜索市場之后，搜索巨頭和360之間的關系似乎更加劍拔弩張。近日，360公司和搜索巨頭公司關于搜索引擎爬蟲行為爭議再度引發業界關注。有分析人士認為，Robots協議不是行業法規或標準，不存在違反與不違反的問題，更不應該成為用于搜索市場競爭的武器。

2012年8月16日，360正式推出搜索引擎，并在上線６天后，占據中國搜索市場10％的份額，成為僅次于搜索引擎的第二大搜索流量來源。但不久，360搜索遭到反制措施，所有來自360搜索的用戶請求強行跳轉，用戶需要二次點擊才能得到搜索的結果。

據悉，Robots協議由荷蘭籍網絡工程師于1994年首次提出，是一個被放置在網站中的.TXT文件，為搜索引擎爬蟲做出提示，設置允許與不允許兩種語句，網絡爬蟲據此“自覺地”抓取或者不抓取該網頁內容。

但Robots并不是一個規范，而只是一個約定俗成的協議。Robots協議創始人明確提出Robots協議是一個未經標準組織備案的非官方標準，不屬于任何商業組織。如果該協議被當成市場競爭攻擊，所有現在和未來的機器人（搜索引擎）不必遵從Robots協議。

業內人士在接受記者采訪時認為，Robots協議本是為了搜索引擎更有效的的索引到內容結果頁、內容網站服務器等資源免受爬蟲頻繁打擾而設置的一種技術協議。濫用Robots協議，其結果必將造成行業競爭壁壘，導致互聯網行業內不公平競爭泛濫，進而導致搜索引擎給網民展現不完整的搜索結果，阻礙搜索市場的自由競爭。