网络/协议
垂直搜索引擎是针对某一个行业的专业搜索引擎,是搜索引擎的细分和延伸,是对网页库中的某类专门的信息进行一次整合,定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。垂直搜索是相对通用搜索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务模式,通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。其特点就是“专、精、深”,且具有行业色彩,相比较通用搜索引擎的海量信息无序化,垂直搜索引擎则显得更加专注、具体和深入。
垂直搜索是针对某一个行业的专业搜索引擎,是搜索引擎的细分和延伸,是对网页库中的某类专门的信息进行一次整合,定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。
垂直搜索引擎和普通的网页搜索引擎的最大区别是对网页信息进行了结构化信息抽取,也就是将网页的非结构化数据抽取成特定的结构化信息数据,好比网页搜索是以网页为最小单位,基于视觉的网页块分析是以网页块为最小单位,而垂直搜索是以结构化数据为最小单位。然后将这些数据存储到数据库,进行进一步的加工处理,如:去重、分类等,最后分词、索引再以搜索的方式满足用户的需求。
整个过程中,数据由非结构化数据抽取成结构化数据,经过深度加工处理后以非结构化的方式和结构化的方式返回给用户。
垂直搜索引擎的应用方向很多,比如企业库搜索、供求信息搜索引擎、购物搜索、房产搜索、人才搜索、地图搜索、mp3搜索、图片搜索……几乎各行各业各类信息都可以进一步细化成各类的垂直搜索引擎。
举个例子来说明会更容易理解,比如购物搜索引擎,整体流程大致如下:抓取网页后,对网页商品信息进行抽取,抽取出商品名称、价格、简介……甚至可以进一步将笔记本简介细分成“品牌、型号、CPU、内存、硬盘、显示屏、……”然后对信息进行清洗、去重、分类、分析比较、数据挖掘,最后通过分词索引提供用户搜索、通过分析挖掘提供市场行情报告。
垂直搜索引擎大体上需要以下技术
1.Spider
2.网页结构化信息抽取技术或元数据采集技术
3.分词、索引
4.其他信息处理技术
垂直搜索引擎的技术评估应从以下几点来判断
1.全面性
2.更新性
3.准确性
4.功能性
垂直搜索的进入门槛很低,但是竞争的门槛很高。没有专注的精神和精湛的技术是不行的。行业门户网站具备行业优势但他们又是没有技术优势的,绝对不要想像着招几个人就可以搞定垂直搜索的全部技术,作为一个需要持续改进可运营的产品而不是一个项目来说对技术的把握控制程度又是垂直搜索成功的重要因素之一。
1、垂直搜索引擎不是什么?
垂直搜索不只是类google的行业通用搜索。以房产行业为例,如果我们按照google抓取网页的方式,来建造一个房产行业google的做法,是行不通的。技术壁垒不用解释,就算我们借助nutch,lucene等搜索技术来做,我们也无法提供差异化的服务,而没有差异化的产品在互联网赢家通吃的规则下是无法生存的,就是不要简单地模仿,而要想办法形成互补。
垂直搜索和目前的google,baidu等通用搜索从定位,内容,用户,市场策略等都是不同的。所以垂直搜索不只是简单的行业google。
用户使用google,baidu等通用搜索引擎的方式是通过关键字的方式实现的,是语义上的搜索,返回的结果倾向于知识成果,比如文章,论文,新闻等;垂直搜索也是提供关键字来进行搜索的,但被放到了一个行业知识的上下文中,返回的结果更倾向于信息,消息,条目等。对买房的人讲,他希望找的房子供求信息和文章,新闻等不同。这个特性是他们各自的的技术特点决定的。打个比方,如果google搜索引擎是一个正金字塔型,那么垂直搜索引擎就是个倒金字塔型,两者是互补的。
2、垂直搜索是什么?
我认为:垂直搜索的本质是对垂直门户信息提供方式的一次简化性的整合。
搜索领域有句明言:就是用户无法描述道他要找什么,除非让他看到想找的东西,这个过程有点像找对象,碰运气是用户搜索行为的最大的特征。而垂直搜索引擎就是提高为用户提供更好的运气。
垂直搜索是服务于某项功能的,比如:用户搜索租房,买房信息就是一种垂直搜索。对信息的再加工处理是非常关键的,不管是结构化的数据,还是非结构化的数据。
3、垂直搜索的内容来源:
A门户网站自身的资源
B以开放接口方式让行业用户提供的资源
C普通用户发布的资源
D抓取行业用户的资源
微软亚洲研究院负责搜索的一名技术专家说:75%的内容通用搜索引擎搜索不出来。这里面包含2层含义:
(1)网站结构不合理,网页对搜索引擎不友好;
(2)由于信息在互联网是海量的,非结构化的信息需要经过结构化的梳理后才能更好的展现。 如果梳理者能提供搜索,那样会更好。而垂直门户网站就是行业信息最好的梳理者。
垂直搜索引擎提供的主要内容不应该局限于普通的网页索引,而且包括商业信息的加工,结构化的信息。
4、进入垂直搜索的门槛在那里?
在互联网上说门槛,就是比资源。垂直搜索也是这样,能否提供全面权威的行业信息,能否拥有行业资源是垂直搜索引擎发展的门槛。换句化说,垂直门户是垂直搜索血统最近的父亲。作为房产行业的搜房网就是一个垂直门户,在房产领域没有谁比我们更清楚什么是垂直搜索了。
垂直搜索的难点不是技术,而是用户参与门户网站行为的创新和垂直门户网站对产业上下游信息资源的整合。
5、垂直搜索的特点:
(1)、搜索是一个产业商业联盟的平台,一个集成产业链的上下游公司的搜索门户。
(2)、垂直搜索的表现方式和google,baidu的表现方式不同,结构化的搜索和非结构化搜索并用。
(3)、从广告模式上 提供了除 google adsense 和 百度竞价排名广告 之外的另一种可能。
6、垂直搜索引擎的三个特点:
(1)、垂直搜索引擎抓取的数据来源于垂直搜索引擎关注的行业站点:
比如:找工作的搜索引擎 www.deepdo.com 的数据来源于:www.51job.com , www.zhaoping.com
, www.chinahr.com 等等;
股票搜索引擎 www.macd.cn 的数据来源于: www.jrj.com.cn , www.gutx.com
等股票站点;
(2)、垂直搜索引擎抓取的数据倾向于结构化数据和元数据:
比如:我们找工作关注的:
职位信息: 软件工程师;
公司名称,行业名称:软件公司,外包行业等;
地点:北京,海淀;
(3)、垂直搜索引擎的搜索行为是基于结构化数据和元数据的结构化搜索:
比如: 找:海淀 软件工程师 的工作等。
7、垂直搜索引擎站点的8条准则:
1、选择一个好的垂直搜索方向。俗话说男怕选错行,这一点对于搜索引擎来说也是一样的,除了选择的这个行业有垂直搜索的大量需求外,这个行业的数据属性最好不要和
Yahoo,Google等通用搜索的的抓取方向重叠。
目前热门的垂直搜索行业有:购物,旅游,汽车,工作,房产,交友等行业。搜索引擎对动态url数据不敏感也是众所周知的,这些可以作为垂直搜索引擎的切入点;
2、评价所选垂直搜索行业的网站、垂直搜索内容、行业构成等情况:
我们都知道垂直搜索引擎并不提供内容来源,它的数据依赖爬虫搜集,并做了深度加工而来的。因此考虑垂直搜索引擎的所处的大环境和定位至关重要。
3、深入分析垂直搜索引擎的索引数据特点:
垂直搜索引擎的索引数据过于结构化,那么进入的门槛比较低,行业竞争会形成一窝蜂的局面;如果搜索数据特点是非结构化的,抓取,分析这样的数据很困难,进入壁垒太高,很可能出师未杰身先死。
4、垂直搜索引擎的索引数据倾向于结构化数据和元数据,这个特点是区别于yahoo,google等通用搜索引擎的,这是垂直搜索引擎的立足点。而垂直搜索引擎是根植于某一个行业
,因此行业知识,行业专家这些也是通用搜索引擎不具备的。也就是说进入垂直搜索是有门槛的。
5、垂直搜索引擎的搜索结果要覆盖整个行业,搜索相关性要高于通用搜索引擎,贴近用户搜索意图,搜索结果要及时。
6、垂直搜索引擎的web 2.0 需求:
垂直搜索引擎的搜索数据由于带有结构化的天性,相对于通用搜索引擎的全文索引而言,更显的少而精。因此,设计的时候要提供收集用户数据的接口,同时提供tag,积分等机制,使搜索结果更加“垂直”。
7、垂直搜索引擎的目标是帮助用户解决问题,而不只是向通用搜索引擎一样发现信息:
这一点是垂直搜索引擎的终极目标。在做垂直搜索引擎的时候你需要考虑:什么问题是这个行业内的特殊性问题,什么问题是一般性问题。keso多次提到google的目标是让用户尽快离开 google,而垂直搜索引擎应该粘住用户。一般来说,使用垂直搜索引擎的用户都是和用户的利益需求密切相关的。所谓利益需求是我自己独创的,大意是和用户工作密切相关,生活中必不可少的需求,而求有持续性。比如:学生找论文,业主找装修信息等等这样的需求。因此粘住用户,让用户有反馈的途径是一个关键部分。
8、垂直搜索引擎的社区化特征:
这一条和第9条是相关的。
俗话说物以类聚,人以群分,垂直搜索引擎定位于一个行业,服务于一群特定需求的人群,这个特点决定了垂直搜索的社区化行为。人们利用垂直搜索引擎解决问题,分享回馈。现在做网站都讲求社区化,所以垂直搜索引擎本质上还是:对垂直门户信息提供方式的一次简化性的整合。
搜索市场细分 Google、百度面临挑战
百度上市后,搜索市场一下子热了起来。越来越多的企业围绕着搜索市场作起了文章。而且,在搜索大战的同时,一些企业也抛出了一些惊人言论。近日,记者从专业做人脉交际的联络家(www.linkist.com)技术总监冉征处了解到,联络家正在加紧研发人脉相关领域的专业垂直
搜索引擎系统,比如工作招聘信息搜索引擎等,预计将在2005年底推出,联络家之所以涉足专业垂直搜索引擎领域,是看到未来垂直专业搜索引擎市场的巨大商机,他认为未来搜索市场将进一步细分,象Google、百度等主张大而全的全球式搜索引擎将会面临垂直专业搜索引擎更大的竞争与挑战,他们的市场分额将会被逐渐瓜分,专业的行业性垂直搜索将受到网民的青睐。
那么缘何能得出如此结论呢?冉先生解释,CNNIC第十四次互联网调查显示,搜索以71.9%的绝对优势成为用户从互联网上获得信息的主要方式。几乎在全球所有的调查中,搜索引擎都是互联网上使用程度仅次于电子邮箱的服务,搜索引擎服务能成为最受欢迎的服务是因为他解决了用户在浩瀚的互联网海量快速定位信息屏颈问题,在海量的网页里找信息按照传统方式需要用户一个网站一个网站一级目录一级目录下找,要耗费大量的精力和时间,几乎是不可能实现的任务。但互联网的信息量呈爆炸趋势增长,几年前全球式搜索引擎收录的网页量只有几千万页,而现在已经达到几十亿页,数量增加带来的是搜索服务的品质下降,查询的结果集就是海量的,经常是几十万笔的资料,结果里存在大量的重复信息和垃圾信息,用户越来越难迅速的找到符合的信息,现在经常使用搜索引擎可以感觉到很难在短时间内准确的筛选出需要的内容,而垂直搜索引擎针对专业特定的领域或行业的内容做了专业和深入的分析挖掘,精细分类,过滤筛选等,信息定位更精准,因此在此垂直领域或行业提供的搜索服务势必更好更强,更为用户所欢迎。
比如,对于一个网民来说如果有对特定的领域或行业的信息需求的时候,如果一个是专业的垂直搜索能做到精确锁定内容,但内容量偏小,而另一个是能检索出大量内容,但搜索到的内容一大部分都是“垃圾”并且很难找到符合的信息,这样的话,你会选择哪个呢,就如用户想购买一个商品,他是会去专门的比价购物搜索引擎上找还是会去Google上找,如果你想找一份工作,是会去专门的工作搜索引擎上找还是会去百度上找?答案很明显,更多的用户会舍弃后者,即使前者品牌小名声小,但结果往往是最令网民看重的。
冉先生还象记者举了个简单的例子,联络家LINKIST一直做人脉交际圈的拓展,也就是现在炙手可热的SNS网站,SNS网站的目的就是要建立一个庞大的人脉圈,参与其中的人都能通过站内人脉的搜索引擎找到自己想找的人,可以找工作、搜罗人才、寻找合作商机。联络家LINKIST短短几个月的时间已经聚敛起了近7万多位高级商务人士。有了一定的用户基础做铺垫,联络家LINKIST目前大力开发人脉专业领域的垂直搜索引擎,如工作搜索引擎的人脉搜索引擎,而这比以往的“贴简历、翻招聘信息”的机械作法要灵活的多。
而且,能做出这样的预测显然并不是空穴来风。据记者了解,现在搜索市场大量的的垂直专业搜索引擎的诞生如雨后春笋般,如比价购物搜索引擎,工作搜索引擎,博客搜索引擎等等,占了百度几乎一半以上的流量的MP3搜索,其实也可以说是专业的搜索MP3的垂直搜索引擎,许多垂直门户也纷纷推出了自己的搜索引擎系统。
之前刚从
网易内容总监职位上辞职后创业的李学凌也作起了针对博客内容的搜索引擎,这也表露出,垂直搜索引擎的市场正在孕育过程中,既是机会又存在着挑战,其赢利模式也已经在Google、百度等身上得到了验证。而且,很多风险投资(VC)对搜索的概念已经认可并下了赌注。
那么,象Google、百度能会不会通过“补课”挤掉这部分专用搜索市场呢?冉先生对记者表示,Google、百度注定了走的是大而全的粗犷路线,而专用的垂直搜索引擎则不同,需要对做内容的深度挖掘,做精细的分类,构建专业领域的知识库体系等等,而这些都是Google、百度等无法做到的,他们根本就没有精力做这些,也不可能针对每个行业领域都能做透,“术业有专攻”就是这个道理。
就象门户网站与专业垂直的行业性网站可以共存一样,网民也有不同的胃口,有的仅仅是简单模糊的信息就已经满足了,而一些寻找精确内容的网民则更青睐于专业引擎,比如你打算换一份工作,以前去人才招聘网站贴简历往往都尿杳无音信,现在,就可以去联络家LINKIST试试,还能跟同行的朋友交换下最新的行业信息,探讨下行业发展趋势。而且,以后联络家LINKIST推出人脉引擎后,只需轻轻点击便能收获颇丰。
有专家预测,未来,专业的垂直搜索将掀起一轮热潮,而且,垂直搜索引擎不会是一个简单的文本框、一个按纽就走遍天下了,更需要专业的信息辅助和配套的增值内容的支持,也就是对相关内容的二次“加工”。而这恰恰是Google、百度类所不能提供的。相信,届时很多VC的眼球会聚焦于此,而Google、百度又将面临怎样的挑战呢?我们只能拭目以待了。
要了解垂直搜索引擎,就要同大家熟知的横向搜索引擎即通用搜索引擎来做对比。目前互联网领域主要的搜索引擎服务商如yahoo、百度、google 等,为用户提供的都是横向的海量信息搜索。他们可以满足大量信息的横向搜索、提供,但很难兼顾搜索的准确度与相关度的质量。通用搜索引擎的价值在于在做大量的信息导航,对于信息需求相对集中、分类更加详细的行业客户缺乏导向。垂直搜索引擎的产生正是有效的解决了以上通用搜索引擎无法满足的市场需求。
垂直搜索指搜索引擎为用户提供的并不是上百甚至上千万相关网页,而是范围极为缩小、极具针对性的具体信息。换言之,搜索引擎收集的是市场空间中某一“市场利基”的数据,如工作、旅游、高端房地产等。这样的信息不但更加易于为用户所消化,而且也更有深度。
Google、雅虎、MSN这几大搜索引擎巨头主宰着互联网搜索市场,全球大多数网民 都是通过这几大搜索引擎查找自己所需的信息的。但在查找一些具体信息时,这几大搜索引擎的表现却并不尽如人意。有时候用户得到的是往往是和他们的查询本意
风马牛不相及的结果。对拉近用户及其所需信息之间的距离的需求催生并促进了搜索行业的利基发展。垂直搜索引擎瞄准的正是搜索市场中的不同利基市场。
利基是Niche这一英文名词的译称,利基市场指市场中通常为大企业忽略的某些细分市场;而利基市场战略则指企业通过专业化经营来占领这些市场,从
而最大限度的获取收益所采取的策略。实施利基战略的重要意义在于:进行市场利基的公司事实上已经充分了解了目标顾客群,因而能够比其他公司更好、更完善地
满足消费者的需求。并且,市场利基者可以依据其所提供的附加价值收取更多的利润额。总之,市场利基者获得的是“高边际收益”,而密集市场营销者获得的只是“高总量收益”。
分析家认为:利基搜索市场和强大的在线广告市场之间有着密切的联系。管理者可以象Google和雅虎那样利用搜索结果页面运作广告,即在搜索结果页面上提供一定的定向文本广告。这种广告策略已被视作搜索行业的一个盈利渠道。
对于垂直搜索引擎来说,由于数据源得到了详细划分,使得对这些数据进行操作,并将其通过简单易用、消费方便的方式表现出来变成可能。此外,以往的两种网络广告“每千次展示成本”和“每点击付费(CPC)”这两种广告方式上存在着效率低下,广告费用风险高的问题,这也正是垂直搜索被看好的一个主要原因。垂直搜索能够提供更为集中的受众群体,从而提高搜索引擎广告的宣传能力。同时,垂直搜索也能够有效推动新的广告商机的发展――我们姑且称之为“每行动成本”。这种广告方式不限广告投放量,按照广告投放的实际效果,即按潜在客户回应行动计费。
各大搜索引擎都有自己的垂直搜索引擎,比如MP3搜索、图片搜索、新闻搜索、BLog搜索等。独立的垂直搜索引擎有:旅游类的搜索引擎(比如携程旅行网等)、商业类的搜索引擎、比价类的搜索引擎都是垂直搜索引擎。
爱看图标网,中文图标搜索引擎(http://www.iconpng.com/)
目前收录了10000多个图标,功能还不错,可以按照图标系列、分类、色系、关键字、图标标题等搜索;你可以查看每一个图标的作者信息、尺寸大小、图像文件格式、色系、所属分类等信息。每一张图标都提供png格式(png格式是透明背景的哦)下载,大多数图标同时还提供ico格式下载。这个网站对设计网页和制作PPT的人非常有用。
查一下 专门查询各种号码的搜索引擎(http://www.cha086.com/)
目前支持手机归属、IP地址、邮政编号、电话区号、身份证查询、QQ号码、车牌查询,和查一下类似的网站有很多,之所以这里会选择查一下,是因为这个网站没有广告,而且有很多特色的功能:可以查车牌号码(这个在别的网站还没发现有类似的),查询QQ号码时不仅能看到号码的主人是否在线,而且还能看到该QQ号码的QQ秀;手机归属查询有很有趣的投票功能;查询时,同时还能看到和查询内容相关的一些运势、天气等等。
找字网,中文字体搜索引擎(http://www.zhaozi.cn/)
找字网是一个专注于搜索字体的网站,还支持按字体编码、字体类型等高级搜索功能,同时还支持字体在线预览平台,可大大节约寻找字体的时间。
豆丁网,中文文档搜索引擎(http://www.docin.com/)
豆丁网号称收录了一亿多文档,是最大的中文文档库,提供针对文档标题、简介、内容的关键字检索功能,并且支持Word、PDF、PPT、Jpg等30多种文件格式。
爱搜书网,中文电子书搜索引擎(http://www.isoshu.com/)
爱搜书网建立于2006年,致力于各种电子书资源的垂直搜索服务,目前拥有包括漫画、小说、商业、生活、星相命理以及手机等超过千万册的电子书搜索资源;
MACD搜索引擎,金融信息实时搜索引擎(www.macd.cn)
MACD搜索引擎股票、基金、债券等信息索引。MACD搜索引擎,提供最即时的金融信息的搜索,信息确实都很新,就是内容少了点。
职友集,中文最大工作搜索引擎(http://www.jobui.com/)职友集,专注于职位搜索领域。随着网络招聘市场规模的扩大,行业招聘和地区招聘网站的成熟,招聘信息呈分散的趋势。职友集更新的即时职位信息最高峰突破70万条/日,一般更新速度稳定在日均30——40万条之间。庞大的职位信息支持了职友集的薪酬搜索数据的准确性。
258.com,商业搜索引擎(http://www.isoshu.com/)
258商业搜索号称是全球第一商业搜索引擎,为全球商务人士全面提供多语言商业信息搜索服务,实时搜索全球超过6000家B2B平台,包括供求信息、产品信息、公司信息、行业新闻等近10亿商业信息;258的商业搜索服务包括:商情搜索、公司搜索、新闻搜索、商业目录、商情”找到”、个性化服务等,为成功商务人士提供搜索、订阅、短信服务,使用者将第一时间掌握全球第一商业机会。
番薯网,中文图书垂直搜索(http://www.fanshu.com/)
番薯网提供中文图书搜索引擎、电子商务平台、全媒体发布系统的综合性云服务。提供60万册正版图书的搜索服务,支持面向全文的搜索,实现通过搜索精准获取图书资源。
全部0条评论
快来发表一下你的评论吧 !