如何防止搜索引擎收录抓取页面内容

2022-11-01 01:41

1个回答

你要禁止搜索引擎抓取所有页面内容的话就在robos文件里输入：
User-agent: *
Disallow: /
要是只禁止搜索引擎抓取某些内容就禁掉那个页面所在的目录，比如：
User-agent: *
Disallow: /plus

相关问答

1个回答2022-06-26 02:53

在网页代码与的之间，加入nofollow属性！！如果是超链接，就是标签里加入rel="nofollow"即可！

1个回答2022-11-07 10:38

可以在sitemap地图里标明，哪些是不想被抓取的，哪些是想被抓取的。或者也可以直接在网站robots文件中标明。

2个回答2023-04-25 20:55

用robots协议可以屏蔽搜索引擎的抓取和展现：比如要屏蔽aaa目录那么robots就可以这么写 Disallow: /aaa/ 这样搜索引擎就不会抓取了

2个回答2022-11-04 08:32

可以将该内容添加nofollow标签，格式如下：。

1个回答2022-06-23 22:09

没影响~~搜索引擎搜索的是关键字这个在网页设计时是早就写好的~~

1个回答2022-08-31 14:49

啊 vs 发好多好多个回合

1个回答2022-08-02 11:27

目录索引类搜索引擎(...著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等(元搜索引擎列表),中文元搜索引擎中具代表性的有搜星搜索引擎

1个回答2022-09-14 13:25

google, yahoo,bing ,sogou. youdao.soso

2个回答2022-10-20 09:30

全文搜索引擎是按照关键字进行索引的，目录搜索引擎是按照目录进行索引的。因此，全文搜索引擎是蜘蛛主动抓取，主动分类索引；而目录搜索引擎需要人工提交。再看看别人怎么说的。

1个回答2022-09-20 03:59

【目录式搜索引擎】优点：收录网站质量高全人工审核缺点：死链接较多【全文搜索引擎】优点：信息及时又多缺点：根据各站的技术判定在此不评论【元搜索引擎】优点：方便简单快捷 ...

扫码下载APP

听书听课听播客，随时随地陪伴你

热门问答

热门搜索更多