网赚博客如何防止不需要的内容出现在搜索引擎当中 - 新手网赚导航
hf4
 
现在位置:首页 > 免费赚钱 > 网赚博客如何防止不需要的内容出现在搜索引擎当中

网赚博客如何防止不需要的内容出现在搜索引擎当中

分类: 免费赚钱 时间:2019-10-10

在线博客如何防止有害内容出现在搜索引擎中? 为了避免搜索索引中出现不必要的内容,网站管理员可以指示蜘蛛程序不要通过域根目录中的标准robots.txt文件对某些文件或目录进行爬网。 

、此外,通过使用特定于机器人的元标记(通常<meta name =“ robots” content =“ noindex”>),可以将页面从搜索引擎数据库中明确排除。 当搜索引擎访问网站时,位于根目录中的robots.txt是第一个要爬网的文件。 

然后,robots.txt文件将被解析,并将向bot指示不会抓取哪些页面。 由于搜索引擎爬网程序可能会保留此文件的缓存副本,因此有时可能会对其进行爬网,而、网站管理员(www.zqc8090.com)则不想对它进行爬网。 通常阻止爬网的页面包括登录到特定页面(例如购物车)和特定于用户的内容(例如内部搜索的搜索结果)。  

2007年3月,谷歌警告网站管理员,他们应防止将内部搜索结果编入索引,因为它们被认为是垃圾邮件。

≡ 热门推荐赚钱项目 ≡查看更多

广告投放,请联系客服QQ:2239691787 本站源码下载

收录标准:新手网赚导航(www.zqc8090.com)只收录优质的网赚博客、网赚论坛、手机博客,其它网赚站,当然你还可以通过申请投稿,谢谢合作。

sitemap