搜索引擎从已知的数据库出发，就像正常用户的浏览器一样访问这些网页并抓取文件。搜索引擎通过这些爬虫去爬互联网上的外链，从这个网站爬到另一个网站，去跟踪网页中的链接，访问更多的网页，这个过程就叫爬行。
中文编码主要有以下四种：GB2312:简体中文编码；BIG5:繁体中文编码，主要在台湾地区采用；GBK:支持简体及繁体中文；UTF-8:Unicode编码的一种。而搜索引擎是如何解决编码的不同呢？
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
中文分词到底对搜索引擎有多大影响？对于搜索引擎来说，最重要的并不是找到所有结果，因为在上百亿的网页中找到所有结果没有太多的意义，没有人能看得完，最重要的是把最相关的结果排在最前面，这也称为相关度排序。中文分词的准确与否，常常直接影响到对搜索结果的相关度排序。
对于大部分搜索，其实引擎并不是直接查询数据库，而是根据提交关键字寻找已经贮备好的最近似关键字搜索结果，直接提交。
对于搜索引擎来说，重复的网页内容是非常有害的。重复网页的存在意味着这些网页就要被搜索引擎多处理一次。更有害的是搜索引擎的索引制作中可能会在索引库里索引两份相同的网页。当有人查询时，在搜索结果中就会出现重复的网页链接。所以无论是从搜索体验还是系统效率检索质量来说这些重负网页都是有害处的。
关键词不出现排名、排名不稳定、排名突然消失、关键词排名数量急剧减少、网页快照回档都属于搜索引擎排序异常。
