原来Robots 可以告诉搜索引擎不收录那些内容,可是360却执意收录,垃圾流氓软件,强烈建议抵制
原来Robots 可以告诉搜索引擎不收录那些内容,我到现在才知道,才懂得Robots的用途,可是google资讯看到360违反Robots却执意收录,垃圾流氓软件行为,强烈抵制
想知道详细,在Google搜索“360违反Robots”
[解决办法]
你可以在apache当中通过 user-agent过滤 360.
https://www.google.co.kr/search?q=apache+%E9%80%9A%E8%BF%87+useragent+%E5%B1%8F%E8%94%BD%E8%AE%BF%E9%97%AE&rlz=1C1CHRZ_enKR529KR529&oq=apache+%E9%80%9A%E8%BF%87+useragent+%E5%B1%8F%E8%94%BD%E8%AE%BF%E9%97%AE&aqs=chrome..69i57&sourceid=chrome&espv=210&es_sm=122&ie=UTF-8