与搜索引擎爬虫对话的常用方法
抓取策略：那些网页是我们需要去下载的，那些是无需下载的，那些网页是我们优先下载的，定义清楚之后，能节省很多无谓的爬取。
更新策略：监控列表页来发现新的页面；定期check 页面是否过期等等。
抽取策略：我们应该如何的从网页中抽取我们想要的内容，不仅仅包含最终的目标内容，还有下一步要抓取的url。
抓取频率：我们需要合理的去下载一个网站，却又不失效率。
抓取策略：那些网页是我们需要去下载的，那些是无需下载的，那些网页是我们优先下载的，定义清楚之后，能节省很多无谓的爬取。
更新策略：监控列表页来发现新的页面；定期check 页面是否过期等等。
抽取策略：我们应该如何的从网页中抽取我们想要的内容，不仅仅包含最终的目标内容，还有下一步要抓取的url。
抓取频率：我们需要合理的去下载一个网站，却又不失效率。
基于链接的排序算法似乎已广泛应用到各种商业搜索引擎中。为了让设计出来的网站能够在各种搜索引擎中获得较高排名，设计者们应该知道这些算法的原理。Google排名的成功意味着PageRank算法值得特别的关注。PageRank算法是少数几个公开的排序算法之一。PageRank算法对数学要求很高，但可以做些简单的解释，以分析它对网络空间的影响。搜索引擎的其他排序算法也可能获得与PageRank算法相同的结果，尽管他们没有公开任何与其相关的信息。HITS算法是另一个基于链接的排序算法，与PageRank算法形成鲜明对比，下面的引述概括了链接对于搜索引擎的价值。“通过分析网页间的链接关系，搜索引擎可以判定出一个网页是关于什么的，也可以判断它是否很重要并值得列入排序列表中去。”
...
百度有一个流量统计工具，在早前推出。具体网址：http://tongji.baidu.com/。这个统计工具，相信大家都早有耳闻。而最近几天，百度在流量统计工具当中，增加了一项SEO建议功能。
SEO建议功能可以帮助使用了百度统计的网站，通过在线程序的方式扫描一下网站中存在的对搜索引擎不友好的因素，并给出针对性的建议。
在百度推出SEO建议功能的专题页面中，百度这样写到：
“SEO作为网站建设中的重要领域，一直以来都是广大站长们关注的焦点。因此，网站优化类工具备受站长关注，也有众多百度统计的用户建议百度统计能提供此类功能，从而帮助网站指出问题、提升用户体验，提升来自百度搜索引擎的流量，这也是我们推出“SEO建议”功能的初衷。”
...一、从百度spider的“职责”看如何让其频繁“光顾”
百度spider实际上就属于一种自动运行的机器人程序，它的任务就是和网站服务器建立连接之后，抓取网站的内容页面，事实上是下载网站的内容数据到百度的服务器之中。通俗些说，百度spider就是为百度广泛搜罗各种互联网中存在的信息，存储起来经过筛选向用户提供相关的搜索结果。明白了它的工作职责，要想让其更加频繁，保持至少一天一次的频率来光顾网站，需要的就是不断丰富和填充网站的内容，用不断更新的新鲜内容来吸引它，使网站成为为百度提供信息来源的一个“供应商”。
...网友提问：百度是不是针对地区性的搜索提高了地方性网站的权重？（竞价存在这样的问题，我这里问的是自然搜索）。这种情况也是偶尔见到，想问下，这个现象是不是随着发展会逐渐显现明显？
百度工程师回答：如果你在中关村，搜“银行”，然后结果全是中关村周围的银行网点，按距离你的远近排序，这听上去不是一件很美妙的事情吗？呵呵。我也希望那一天尽早到来。
从对话中，可以看到百度的工程师很想实现地域性搜索结果，但是在技术上目前还不是很成熟。
...很多从事SEO工作的站长或优化人员都知道关键词是网页标题（title tag）中最重要的工作，同时它也是所有HTML标签中最有力量的一个。那么如何将关键词置入网页标题中呢？下面简单的谈一下鄙人浅显的看法，如有不足之处，敬请众位看官指出。
网页中的title tag最好是围绕关键词去造一个短语或者三至四个的词组来构成，这是一种对搜索引擎非常友好的做法，它在第一时间内告诉了搜索引擎此页的主题，让蜘蛛节省了爬取的时间，增强了爬取的效率。下面我们就举个例子：
<title>凉茶品牌王老吉：怕上火就喝王老吉</title>
...SEO问题一:
小弟有三个问题想请教哥
一、微博营销对百度有没有影响?
二、301转向的作用是什么，如果网站被k后，再301转向，是不是百度会重新收录网站?
三、哥的
ZAC回答:
1) 就我的一些观察，是有正面影响的。而且撇开SEO，社会化网络营销是个大趋势，人在哪，营销就得在哪。
...
视频检索系统一种数据流图如下图所示。主要包括网页的抓取、网页上信息的抽取以及建立起索引提供外部可以访问的检索服务几个主要步骤。视频收录指的就是网页的抓取这一步。视频检索实际上也是文本检索，其核心数据只有两种：一种是用于定位视频资源的url，通过该url可以观看视频，通常是视频播放页面的url；另一种是对视频资源的内容进行说明的各种各样的描述信息，通过这些描述信息在用户的检索请求和视频资源之间架起了一座桥梁。因此，对于视频站的收录，核心就是获取视频播放页url及视频的文本描述信息。
...
