苦中作乐笑中有泪 <<<不切实际设备博物馆 | 首页 | 旅
刀枪Blue · zhouxiaohu · 2004-04-18
苦中作乐笑中有泪
|
首页
|
旅行的意义>>>
2004-04-18 18:53
ACM Queue有篇文章
A Conversation with Matt Wells
,是Steve Kirsch对
Gigablast
设计师Matt Wells的采访。对咱普通人来说,这个访问中提到了很多原来觉得很神秘,没有机会了解的东西。
采访是因为Gigablast而来的。
Gigablast是什么?--搜索引擎。
对普通用户来讲,知道google和yahoo基本上就完了,internet的老鸟可能还会提到excite等这些。其实搜索引擎技术领域的发展和竞争一直没有停止过,那些浮上水面为普通人知晓的只是一小部分,还有更多潜在下面的。经过残酷的技术和商业规则的考验后,这些原来的潜伏者中的小部分可能有机会成为舞台上的明星。
搜索是个竞争相当激烈的领域,即便现在,台面上的公司也不多:Google,Yahoo(AltaVista/AllTheWeb/Inktomi),LookSmart(Wisenut)和AskJeeves(Teoma)。这是个紧密狭小的圈子,人们相互了解并相互观察。Microsoft的加入亦使局面更加复杂--或者说,这场戏更好看 ;-P
被采访者Matt Wells 1997年开始在Infoseek的搜索项目组工作,3年之后他回到新墨西哥州,创建了Gigablast。他用C++从头开始编写搜索引擎,他的目标是市场上最便宜,最具伸缩性的搜索引擎,能够索引数十亿的Web页面,以非常低廉的价格处理每秒数千次的查询。采访者Steve Kirsch则是Infoseek的创办者,在Infoseek 1997年被Disney收购前一直领导该公司。Kirsch 现在是Propel Software的创办者和CEO。所以,这是一次老板对前员工的采访 ;-)。
几个有意思的的地方(不是全部访问的翻译):
今天的搜索引擎面对着那些问题?
很多。Microsoft的说法是,“搜索”是今天计算机科学中最难的问题。他们不是在哄骗谁或者开玩笑。可以把其分解成3个方面的主要竞争:1. 可伸缩性和性能 2. 质量控制 3. 研究和开发。伸缩性,企业级的引擎必须分布在网络上的多台计算机上,数量可能是数千甚至数万台(这里曾经写的
Google 的力量
也提到这个情况),涉及如此多数据的工作必须关心数据完整性,要实现某种方法抵偿机械故障,大系统上数据错误或者机械故障发生的频率是相当高的。第二,工程师所作的每件事情都必须均一的布置到网络上。在分布式的环境下,最简单的操作,比如添加一条记录到数据库,也复杂了许多,你得识别要存储这条记录的机器,确保它正在运行,把数据尽可能快的传输过去,能优美的处理可能产生的任何错误。最后,海量数据必须能告诉处理以便确保最小查询时间和最大spider rates。
搜索的核心是什么?
任何搜索引擎的核心都是索引index。index的基本数据结构是termlist, posting list, 或者 index list--根据我们所处位置不同,这些术语也有所不同。termlist是对给定词语的一组文档标识列表。比如cat的termlist文档标识包括1,5,7,意思就是cat出现在文档1,5,7中。当由人搜索cat时,我们就能告诉他相关信息了。
扩展一下,如果人们搜索cat dog。我们就必须交叉引用两个termlist来寻找文档标识。想想,如果有2千万的文档包含cat,另有2千万的文档包含dog,咱就有大麻烦了。
处理这个问题最常用的方法是分治divide and conquer。必须把termlist的数据分散到多台机器上。假设我们把引擎分散到20台机器上,每台机器就有1百万的关于cat和dog的文档标识。20台机器可以并行计算他们自己的头10个文档表示,然后把结果发回一台中央服务器进行合并。此外还有更多的捷径可循,比如忽略稀有termlist或者进行短语处理等。忽略停止词比如the,and和a也能节省大量时间。关于title record,每个文档标识都有一个title record,通常包含了标题,URL和web页的摘要信息。今天,大多数搜索引擎的title record中都有完备的,zlib压缩的web页面。
关于第二个基本问题,质量控制。
质量控制是关于如何提高好的结果并过滤坏的结果的。好的算法需要分析web页面的链接结构,根据这个赋予页面一个page score(听起来很像Google的PageRank哟),用page score来度量其包含的术语。此外还要能度量查询词中的术语。比如,如果用the cargo进行搜索,其中的the显然没有cargo重要,那么一个包含了100个the和1个cargo的页面,就不能居于包含了多个cargo的页面之上。过滤坏结果甚至更难,你必须对付各色人等,他们会用成百上千万的页面spam你的引擎。用完全自动化的工具把这些页面从index中去处是不合适的,需要开发能尽可能自动化,但又保留了一定程度人工控制的工具。
重复内容,镜像站点必须被考虑进去。人们可不想看到一堆相同内容。好的搜索引擎必须能侦测景象并进行过滤,过滤不能太紧也不能太松,否则有些重要资料会丢失或者用户又看到相同的内容多次出现。在显示世界中,不一定有内容一字不差的页面,他们可能只是风格有别,这就对搜索引擎的分析和识别算法要求更高了。
关于spam。
电子邮件spam大家都熟悉了,那么搜索引擎spam呢?作为一个动词,spam搜索引擎是一个动作,试图恶意影响或操纵页面评级算法,让一个或一组页面得到更高的评级;作为一个名词,spam就是用上述方法人工提高评级的页面。spam是现在搜索引擎面临的巨大问题。link spamming是众多常用的spam方法之一,通过交换链接来愚弄搜索引擎的链接分析算法。
谈谈Google?
google很明智的把焦点放在搜索质量上,而其他人都在忙着做门户忽略的搜索。google的长处在于页面快照,index的尺寸和搜索速度。快照(缓存)的页面让google能生成动态摘要。不过google的搜索质量无论如何不是最好的(强!看来这位Gigablast的头头有绝活),其他引擎还没足够到让用户愿意转换的地步,所以google再凭借其快速的搜索动作更能留住用户了。
google的成功中PageRank算法的因素并不是太大。他们把PageRank吹捧的太高了。早年IBM的CLEVER 项目就提出过。
谈谈Gigablast。
Wells在Gigablast上已经工作了3年多了,它是用C++完全从头编写的。唯一使用的外部工具和库是zlib压缩。Gigablast运行在8台桌面机器上,每个有160G硬盘,2G内存和一个2.6G Intel CPU。包含3亿2千万页面(5TB),每秒处理40个查询,每天spider要漫游800万个页面。现在每天处理50万次查询。
关于Gigablast这个名字。Wells想过很多Power的前缀和后缀名,比如peta,mega,accu,drive,uber等等,可惜几乎所有的组合都已经被人使用了,gigablast.com 当时快到期了,Wells瞄准时机得到了这个名字。
关于搜索的未来。
如果搜索引擎能适当的处理XML,那将对替代SQL起到巨大的作用。如果搜索引擎能对XML进行合适的排序和限制,那会非常有用。例如,对大量的电子商务页面,可以对价格,颜色和其他页面定义的元素进行搜索和排序。
搜索引擎明天的增强仍将基于今天的基础。以后,一个引擎每秒能处理的查询越多,搜索的质量就会越好。
要理解搜索引擎的发展方向就要先理解搜索是什么。搜索,是大脑的基本功能。Internet现在已经非常巨大,Internet上存储的信息基本和一个成人的大脑在一个层次上了,我们需要一些更高层的功能来利用这些信息。我们应该学习大脑使用的协议并把其扩展到Internet的搜索引擎上。搜索引擎和人类意识是紧密并行着的,搜索上的工作让我们探究在智能层次上我们是如何工作的,计算机科学的终极目标是创建像人类那样思考的机器,这台机器的核心会是搜索引擎--就像我们的大脑。
zhou
@ 2004-04-18 18:53
返回页首
|
评论
|
引用(0)
评论
发表评论
最新文章
Proceed With Caution
厨师
D DAY
里根
MSN
2.6 - 超线程
Open SUN's Source
BugMeNot
中国的土地,人民,时代
在线肖像陈列馆
Links
弱水三千
阿巧
蜻蜓的世界
双子的空间
心的方向
carol
一头熊的碎碎念
小鸡芝芝
isaacmao
TOPKU
cnblog心得集
Gizmodo
Weblogsinc
Kuro5hin
Engadget
AlterSlash
Vivisimo
CleverCS
DeskCity
原始快照:web.archive.org