搜索引擎的工作原理通用课件.pptVIP

封面SEO搜索引擎优化技术SEO是一种思想！最实用SEO策略指导。技术操作也没那么难。

页第1.机器人、蜘蛛、爬虫2.robots.txt文件4.搜索引擎的工作原理

页第网站发布到网上，就会在搜索引擎中搜索到吗？

页第方法一：利用搜索引擎提供的网站登录入口；方法二：通过与外部网站建立链接关系。

页第Google的网站登录地址：

页第搜索引擎有自己的域名列表，搜索引

页第“蜘蛛”也叫“机器人”或“爬虫”，就是一个软件，搜索引擎利用“蜘蛛”程序不断地在互联网上巡逻，它根据网页中的链接在各个网页间穿梭，收集网站的内容（如文字和链接），将其保存到数据库中，搜索引擎根据相关算法对网页进行排名。

页第……

页第爬虫在检索网页时到底在做什么？l爬虫给网站所在的Web服务器发送请求l爬虫是完全以文本的形式查看网页l图片或其他类型的媒体文件是不显示的l只有文本以及HTML代码被爬虫看到

页第l正在建设的网页l网页内容全是链接l网页内容过时l私人信息

页第

页第robots.txt文件时，它首先爬行检查该网站根目录下是否存在robots.txt文件。如果存在，搜索引擎robot就会按照该文件中的内容来确定访问范围；如果不存在，那么搜索引擎robot就沿着链接抓取。

页第robots.txt文件必须放置在站点的根目录下；robots.txt文件名必须全部小写。

页第robots.txt文件内容的基本形式Disallow:/告诉爬虫哪些网页不能访问，“/”表示所有目录。该文件内容的意思就是：任何爬虫都不能爬行所有目录。

页第Yahoo!+Slurp+ChinaSogou+web+spiderMSNBOT

页第1.允许所有的robots访问User-agent:*Disallow:

页第2.禁止所有搜索引擎访问网站的几个部分User-agent:*

页第User-agent:baiduspiderDisallow:/

页第4.只允许某个搜索引擎的访问User-agent:baiduspiderDisallow:User-agent:*Disallow:/

页第5.对于Googlebot，拦截某目录内除某个文件之外的所有页面Allow:/help/myfile.html

页第6.对于BaiduSpider，拦截对所有以private开头的子目录User-agent:BaiduSpiderDisallow:/private*/

第7.对于BaiduSpider，拦截所有包含“？”号的网址(即禁止访问网站中所有的动态页面)。User-agent:BaiduSpiderDisallow:/*?*

第User-agent:BaiduspiderDisallow:.jpg$

第9.仅禁止Baiduspider抓取.jpg格式图片User-agent:BaiduspiderDisallow:.jpg$

第10.仅允许Baiduspider抓取网页和.gif格式图片User-agent:BaiduspiderAllow:.gif$

第百度产品对应的User-agentBaiduspider-mobileBaiduspider-imageBaiduspider-videoBaiduspider-newsBaiduspider-favoBaiduspider-cproBaiduspider

第11.仅禁止百度视频的Baiduspider-video抓取网页User-agent:Baiduspider-videoDisallow:/

第

第取，就没必要添加robots.txt文件了。反正如果该文件不存在，所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。

第

第3.搜索蜘蛛抓取网页太浪费服务器资源，所以要在robots.txt文件设置所有的搜索蜘蛛都不能抓取全部的网页。

第并不是每个网站管理员都有Web服务器的操作权限，但很多管理员都需要控制爬虫在网站上的行为。在没有Web服务器的操作权限的情况下，就不能使用robots.txt文件，取而代之的是通过网页中的robots元标签来控制爬虫对网页的访问。

第metaname=“robots”content=“noindex,nofollow”/head不允许robot索引本网页的内容/html

第metaname=“robots”content=“index,follow”允许索引和跟踪其中的链接metaname=“robots”content=“noindex,follow”不允许索引，允许跟踪其中的链接metaname=“robots”content=“index,nofollow”允许索引，不允许跟踪其中的链接m