yandex是俄罗斯第一大搜索引擎，在俄罗斯拥有64.9%的市场占有率（数据为liveinternet.ru最近3月平均值，google为21.6%），TechCrunch 2010.12.15日的文章指出当日yandex在搜索引擎中开始键入新的技术spectrum以改善用户体验。根据TechCrunch的文章和yandex的官方技术介绍，spectrum融合语义技术和机器学习对用户的模糊查询推理，挖掘用户潜在的查询意图，消除查询语义的模糊。其实对spectrum的简单介绍，官方技术介绍比较容易理解的。在quora上有人问这个问题，yandex的CTO的回答如下：

How does Yandex’s Spectrum work?

techcrunch 2010.12.15号的文章

Ilya Segalovich, yandex首席技术官，联合创始人

Yandex分析海量的搜索记录（500亿次查询）来寻找查询中的“对象”，将它们分为60个类别，并根据对象的分类把每个查询分别映射为几种可能的“用户意图”的一种，然后计算用户在每种意图下寻找对象的（可能性的）百分比，然后通过NP-hard最优化问题，最大化用户对相关的常用模糊查询的满意概率。

例如，对[jaguar]和[beethoven]，显示分类结果为car/animal/drink和movie/composer，然而对于产品搜索，结果将是关于buy’, ‘reviews’ 和 ‘feedback’意图的。
参见 http://company.yandex.com/genera… Spectrum 部分, 以及俄语资料 http://habrahabr.ru/company/yand…
and http://plakhov.livejournal.com/1…

Bing要在6.3号才正式对大众开放，不过现在已经有许多邀请体验的测评文章。如1，2. 看兴趣的可以先睹为快。

ps：今天一看，很多访问都来自关键字being+微软，其实，微软的新搜索叫bing~~ hoho  现在微软有bing，有powerset，看下一步怎么优势整合和google竞争 了~

Web 3.0: Web 2.0之后轮到谁？

Boutin的第一篇文章认为Web 3.0无法解决信息超载问题。至少现在还不行，因为有很多基础工作要做。尤其是现在网上到处都是非结构化数据，需要很长的时间才能将这些数据结构化。

去年Boutin将Web 3.0宽泛定义为“一个开放网络。Web 3.0可以打破旧藩篱，让所有人随时随地地联系在一起，让整个网络更加智能。”

至少我认为，如果说Web 2.0意味着Youtube和维基百科等UGC和社交网络，那么Web 3.0则意味着开放和结构化数据，让网络更加“聪明”。

关联数据（Linked Data）: 结构化数据，但不一定是语义数据

Greg Boutin第二篇文章谈到了关联数据。他认为关联数据提供了关联结构化数据的新媒介，可以让机器更好地读取这些数据。但是，关联数据本身不会给信息增加任何语义含义，而是更好地携带语义数据，供用户访问。所以，关联数据虽然本身并不具备语义特征，但它可以在数据层面建立关联，为真正的语义网铺平道路。

关联数据这个概念来自W3C,该组织有一个关联开放数据（LOD）项目。以下图表列出了参与该项目的数据集。其中包括著名的Thomson Reuters的Open Calais项目 , Freebase, 和DBpedia。这些数据集是在现有本体论（ontologies）基础之上建立的，如WordNet,FOAF, 和SKOS，然后在它们之间建立关联。

Greg Boutin在其第三篇文章中写道，关联数据格式不会创建智能数据，仅仅是支持。他建议人们集中精力开发把非结构化数据进行结构化的技术。他还建议创业者应该考虑把关联数据和其它技术进行混搭。

语义网：Google唱主角

那些以上这些趋势会如何影响语义网呢？Tim Berners-Lee 认为语义网可以用于商业目的，但现实却是，目前使用资源描述框架（RDF）的实际应用寥寥无几。

但是 RDFa（允许发布者把RDF嵌入到HTML）带来了一线希望。 Google本周宣布将在其“富媒体代码”中支持RDFa，而雅虎早在去年就大胆地推出了搜索猴子（Search Monkey ），达到了同样的目的。

Google将在语义网主流化过程中扮演重要角色。Google目前正在从半结构化和非结构化数据中解析语义结构数据。有人称Google算法远非统计方法论那么简单，它早就在研发语义技术了。

Google也并非没有竞争对手。除了雅虎，微软去年夏天收购 Powerset也是瞄准了这个市场。

结论

Web 3.0是一个没有统一定义的词语，或者根本不应该这么称呼。但是很显然，结构化数据时代已经到来。我们从当前的关联数据热潮中就可以看到它的影子，并且得到了Google和雅虎瞪大公司的支持。谁知道呢，或许语义网也就在隔壁不远处。

（编译：pestwave）

1.
Wolfram|Alpha：Google 终结者？

Wolfram|Alpha，号称“Google 终结者”，这个由计算机科学家 Stephen Wolfram 创建的搜索引擎，在过去一段时间，一直在被大家热炒；5 月份将推出正式版。

它所谓的终结者称号，不过是他人慷慨的馈赠，事实上，创始人更愿意将其称为计算型知识引擎。与提供链接的 Google 搜索不同，对于这个知识搜索引擎，你提交一个问题，可得到相应的答案。

Alpha 不是搜索网络获取信息，而是通过公共和授权资源获取大量的经过组织的数据，并利用高级的自然语言处理算法进行计算，得出结果。

在产品演示中，Stephen Wolfram 搜索了“internet users in europe”，当然你也可以使用 Google 或其他搜索引擎来获得这个问题的结果。

但 Alpha 不同在于，它如何显示搜索结果。比如上述搜索，Alpha 不仅返回互联网用户数量，而且还提供了每个国家的用户数量和各种图表（从结果中我们得知，梵蒂冈只有 93 个网民）。

如果使用 Google 搜索“uncle’s uncle’s brother’s son（堂叔的舅父的哥哥的儿子）”，你会得到这样一个结果，很明显，Google 不懂基本的血缘关系。而 Alpha 可提供一份家谱，包括血缘关系系数等信息。对于该示例，该值为 3.125%。

对于 Alpha 与 Mathematica 之间的关系，Stephen Wolfram 并没有遮遮掩掩。根据他的说法，Alpha 利用了 500 百万行 Mathematica 代码，而后者当前使用了大约 1 万颗 CPU。为了 Alpha 的正式推出，他再在扩建服务器农场。

Alpha 可以处理很多 Mathematica 能够计算的数学问题，Mathematica 也将是 Alpha API 的第一个使用者，因此，Mathematica 用户将能够访问 Alpha 的数据。

专业版

Alpha 将以免费方式推出，当同时提供付费版，它将为用户提供数据下载和上传。对于专业用户，将不仅能够查看图表，还可以下载生成这些图表的数据，并可以在用户的电脑上或 Mathematica 中使用。

嵌入和通知

很明显，Wolfram 非常了解互联网的游戏规则。用户将不仅可以在自己的页面上嵌入 Wolfram|Alpha 搜索框，还将能够在网站上嵌入搜索结果以及定制的 Alpha 的接口。此外，结果变化时，用户还可以收到电邮通知。

有关该搜索引擎的注释

• Alpha 的每个搜索结果页面提供计算结果所用的资源链接
• 如果结果存在争论，Alpha 将在脚注中提供说明
• 目前 Alpha 仅提供英文版
• 资金：Alpha 将在侧边栏中显示广告，并与其他公司合作，其中包括其他搜索引擎
• Wolfram 将发布  FF 和 IE 工具栏，以及 IE8 accelerator
• Alpha 还将显示来自传统搜索引擎的搜索结果（Google、Live、Yahoo），并提供相关的维基百科链接

它是 Google 终结者？

不是！Wolfram|Alpha 将会一个令人惊奇的产品，但它与 Google 和其他搜索引擎很不同。事实上，将其称为搜索引擎都是一个误解，Wolfram 更乐意“computational knowledge engine”这个名称。如果你想知道去纽约要看哪些景点，据我们了解，对此 Alpha 并不是一个有用的工具。

如果不是查看那些基本的百科式信息，用户可以求助于 Alpha，它会直接给出问题的答案，并提供一系列的图片和相关信息。

在精心准备的演示中，每个产品都会看起来很不错。5 月份推出的正式版 Alpha 将如何面对用户真刀实枪的拷问，让我们拭目以待…

2.
Alpha首测结果：喜忧参半

Wolfram Alpha这款被视为“谷歌杀手”的搜索引擎将会在5月18日正式发布（link）。但是我们今天可以提前访问这项服务，因此也就有机会测试一下这款搜索引擎的表现

我们就不罗嗦了：Wolfram Alpha不是针对主流互联网用户的，对于这类人群而言，谷歌就已经够用了。当然，将Alpha与谷歌做比较有些不妥，但是多数用户还是会把它当成谷歌来 对待，然后这其中的多数可能会极其失望的离开。然而，从目前来看，Alpha会成为学生，工程师和学者们手中的得力工具。任何需要快速获得数据并知道相应 解释的人都会将Alpha视为好的帮手。学会如何最佳的使用Alpha需要花点时间，它还有些瑕疵，但是总来说，它给我们的印象非常深刻，不过，偶尔我们 也有些失望。

正如我们所设想的那样，Alpha表现出色的领域是数学，工程，化学，物理以及生命科学。但是当涉及人文科学时，Alpha给的结果就不那么有意思了。当你输入作者名称时，你会得到一个基本的履历资料，而非作者的书目列表。

用户需要记住的是Alpha只会给你数据，但是不会提供数据背后的意义。用户需要自己解读数据。

试用结果：Alpha某些领域非常出色——其他一些领域难有作为。

有时，Alpha的数据集并不是很规整。比如，你 可以得到国家的失业人数数据，但是如果你想得到特定城市的数据，Alpha就无能为力。Alpha也可以回答一些杂七杂八的问题，像“B-29超级空中堡 垒轰炸机的翼展是多少”，美国有多少药剂师？（以及他们的平均薪水是多少？），以及《星际迷航2：可汗的愤怒》的票房收入是多少？（系统会自动将 7，891万美元转换成日元，英镑和欧元。）

它也可以做一些非常出色的计算（虽然我们做的一些 复杂查询出现超时情况），像画谢尔宾斯基三角形（Sierpinski gasket）（译者注：一个分形），以及告诉25岁时，人锻炼时的安全心率是多少。但是虽然它知道1984年的德国总统是谁，但是它却拒绝告诉我们那年 的德国总理是谁。而且有关第一， 二次世界大战的信息都是一些基本的数据，不过与此同时，Alpha也会告诉我们今天德国每一分钟期间有多少人死去(1.698个)，并将其与当前的出生率 做比较。Alpha也可以给你提供营养方面的数据，然而你没办法计算得到不同体重下的数据。

一些幽默诙谐的地方

有时，你会在结果中看到一些幽默诙谐的闪光点。比 如，当我们搜索”5千克“时，Alpha会提供你一个基本的单位转换关系。但是它也会在结果里告诉你5千克大约等于两本《新新科学》（ A New Kind of Science）（此书的作者是： Stephen Wolfram）的重量。

局限性

毫无疑问，Alpha数据集存在空白的地方。而这 些空白的地方都是属于非技术领域，从许多方面来看，这是可以理解的，因为让Wolfram Alpha这样的系统理解此类信息非常难（不过Alpha对字谜非常在行），每个结果页面的Alpha广告所连接的都是维基百科上的相关文章。

缺乏互动性

Alpha也缺乏互动性，这点很快让人有些沮丧。 Alpha上的所有图片都是静态图像，你无法放大或缩小，或者当你搜索人物的生平资料，结果中没有任何链接，因此你无法通过简单点击这个人的出生地链接以 获得更多信息。这意味着深入挖掘某个主题下的信息可能很难，因为你必须持续不断地进行新的查询。

有关大写的问题

Alpha对查询词的要求有些过于苛刻。当你输入 ”pdx“时，aplha不知道如何处理，但是你将它大写后，它会返回Pursuit Dynamics公司的信息（公司的商标是pdx），以及一个有关波兰国际机场的信息选项（而这是我们所要查找的东西）。而谷歌则是完全忽视掉字母的大 写，Alpha对此是做区分的。

Alpha也会为新用户提供许多搜索实例。这些实例对于你如何规范的查询是非常有帮助的，而这种规范则可以帮助你从Alpha上获得更多有用信息。

开发者和Alpha

Alpha将会为第三方开发者提供丰富的API。 我们对于开发文档只做了一个快速的浏览，但是从我们看到的内容来讲，开发者可以完全访问Wolfram Alpha的数据集。但是对于开发者们如何将这一数据源与其他Alpha并不擅长领域里的数据源混搭使用，想必我们会看到一些有意思的创新。

这一款不错的工具——但并不适合所有人

最后，Wolfram Alpha是一款工具，你需要花些时间来学习，但是它也可以成为一款非常强大的工具。许多媒体将Alpha与谷歌做比较，我们认为这是一个毫无意义的比 较。Alpha并不想成为谷歌杀手，而且以它目前的形式来看，它是无法从谷歌手中抢去很多市场份额的。正如我们一周前在有关Alpha的报道中所说的那 样，Alpha会从维基百科手中抢走一些用户，因为它可以让用户快速便捷的获得各种数据。

但是目前Alpha最大的问题就是对搜索查询词的解释执行，通常查询词的一个小小改动就会导致无法找到结果或者十分精确的找到你想找的内容。

我们也希望Wolfram能找到一个把其他更多数据和搜索结果连接起来的方法。当你在搜索结果中找到一些感兴趣的内容，但是却不得不手动输入进行一次查询时，我们感觉相当的失望。Alpha在结果页面只要加一个简单的链接就可以解决的。

对于工程师而言非常棒——但是主流群体可能不会这么觉得

到目前为止，我们还是觉得Alpha仍然是一个小众的参与者。对于一小部分潜在用户，它是一个价值极高的工具。不过，希望随着时间的推移，开发团队会添加更多更好的数据集，这样Alpha对于主流群体也会变得更加实用。

注意：读者如果想查看更多截图，可以前去这个页面（link）

（译者：Moon.Wong）

（译者： 挨踢狂人）

From: Satya Nadella

Sent: Monday, March 02, 2009 4:18 PM
To: Microsoft–All Employees (QBDG)
Subject: Announcement: Internal Search Test Experience

The Search team needs you. We’ve been working hard to improve our search service and want to share the progress we are making with you. We are launching a new test program called kumo.com for employees to try and provide feedback. Kumo.com exists only inside the corporate network, and in order to get enough feedback we will be redirecting internal live.com traffic over to the test site in the coming days. Kumo is the codename we have chosen for the internal test.

In spite of the progress made by search engines, 40% of queries go unanswered; half of queries are about searchers returning to previous tasks; and 46% of search sessions are longer than 20 minutes. These and many other learnings suggest that customers often don’t find what they need from search today.

We believe we can provide a better and more useful search experience that helps you not just search but accomplish tasks. During the test, features will vary by country, but you’ll see results organized in a way that saves you more time. An explorer pane on the left side of results pages will give you access to tools that help you with your tasks. Other features like single session history and hover preview help accomplish more in search sessions.

Your Next Search…

To get started, visit kumo.com or click one of the samples below to see how it’s possible to find the right results more easily:

· Audi S8
· Taylor Swift
. Bose Lifestyle 48

You can also set your search defaults to test site using the instructions here.

Your Feedback is Critical

As employees, you are some of our most informed users and our toughest critics, and we highly value your input and feedback to help us build a better service. You have been an important voice in our efforts, and the feedback you’ve sent us since the company meeting has been amazing.

When you visit kumo.com, at the bottom right corner of the each page you’ll see a feedback badge. We ask that each time you use the test site, click the feedback badge and take a moment to answer four quick and simple questions. Feel free to reach out to give us extra feedback directly on our blog and by mailing sfeed. For answers to common questions make sure to see our FAQ.

We are committed to rapid innovation and improvement. Please give the test site a try, rate the results and let us know what you think.

Satya

在几张截图中，我们可以看到语义检索的特征非常明显，根据关键字做结果分类和查询导航，左下角的your history不知道会不会是实时的兴趣分析之用，期待kumo的正式推出，拭目以待吧。
据分析说kumo会有基于图像相似度的图片检索出现，不知真伪了。

来源 1 , 2

Did Google Just Expose Semantic Data in Search Results? ReedWriteWeb的Marshall Kirkpatrick，6号写了一篇这样的文章，立刻收到了极大的关注。他通过对google search的Q&A查询的反馈结果，猜想google可能采用了查询的结构化处理。这与以往google采用的PageRank以及流行度的分析等方法哟明显的不同，现在Yahoo，PowerSet，ASK，Hikia的语义检索大张旗鼓的进行，google的这一点的尝试和修改，无论是对竞争对手还是普通用户都是一个信号。因此，在这篇文章的提示下，有了许多文章。Yes, Google Is Doing Semantic Search ，里说google已经加入了语义搜索的聚会，并表示google的这项技术早在05年就开始了，有一篇官方的blog为佐。arnold在读了这篇文章后也认为这是一个有价值的无责任实验，一个重要的信号。

当然，技术并不是人而且还不是成熟的，它还是要基于许多无法考证的资料来推理总结以试图给予用户确切答案。Daniel Nations发现一个可笑的错误，根据google的结果，基督是出生在1963年的。。。我在尝试相同的查询时，已经没有了答案，而且那片文章中下午还存在图片晚上也不见了，难道也被rivercrab掉了？

ps：上图是我用google.com查询who is the president of the USA?的结果。查vice president以及who will be the president of the USA?都不会有结果提示了。。。但是把the USA改成China，主席和副主席都能直接给答案了 呵呵 :rolleyes:

●Semantic Sense for the Desktop
A project brings Semantic Web technology to personal documents.

这篇是对Nepomuk Project的介绍，讲了语义桌面的出发点，之前的研究，此项目的的一些特点和方法，最后的有给出下载链接，不过安装不是一步到位的，需要些前期步骤。感兴趣的可以下载试试。

●Powerset Gives Microsoft Semantic Search Tools
结合Scott Prevost, general manager and product director at Powerset和Gartner Inc. analyst Rita Knox的观点的一篇文章。
After its Powerset acquisition, Microsoft is pushing semantic search as the replacement for traditional keyword search.
对语义检索和基于关键字检索的比较：”Current search technology just doesn’t leverage all of the affordances of Web 3.0-semantic Web, structured data, interoperability, collaborative filtering,” says Scott Prevost, general manager and product director at Powerset. “Keyword search just doesn’t address these things.” “Everything today is about the keywords,” Prevost told attendees. “And there are a lot of casualties in this keyword economy.”
对与powerset中NLP技术的来源：
Roots from PARC
Powerset relies on very deep natural language processing (NLP), technology that has been in the lab for 30 years but has only recently become computationally feasible because of high-performance computing technologies. Powerset’s semantic search app uses this technology-which the company licenses from Palo Alto Research Center (PARC)-to extract meaning from documents one at a time and encode that meaning into its index. Meaning and intent are extracted from queries at runtime. Matching the meaning of those queries with the meaning in the index renders better search results, he says.
Rita Knox 将语义搜索定义为利用基于用户寻找信息所包含的，而机器自身不能掌握的微妙的语义为线索的搜索。
Gartner Inc. analyst Rita Knox defines semantic searches as those that use clues about the information users are seeking based on semantic subtleties that machines have yet to master on their own.

“When pieces of information are labeled, computers can see what they mean; but most information is not labeled-it’s unstructured,” Knox says. “Without the labels or tags, computers are at a loss to make a human kind of sense out of things like text. The promise of semantic search is that it will provide that understanding to the machines, and that will result in more meaningful and relevant search results.”

另外，Open APIs Coming??

Updated: 微软最新搜索引擎定名为：bing (查看)

几天前，某关注微软Live动向的独立网站的一篇文章，让许多对微软搜索引擎的传言也更加流行起来。文章指出微软在近期收购了一个新的域名kumo.com，并将它指向了live search的部分服务器，当前供员工内部测试使用。kumo在日语中是云或者蜘蛛的意思，在结合当前云计算的热潮以及微软之前的动向（上周四微软确认雅虎搜索执行官将成为微软硅谷搜索技术中心的总经理，收购语义检索公司Powerset），真的让人会有所期待了。live大张旗鼓进军google的地盘，没有撼动google的位置，现在微软在收购yahoo无期的情况下，动作拼出，看来势必在搜索上会有一番表现了。当然，微软官方对此次民间的传言保持沉默中ing

到底kumo.com会有何用我们还不能知，文章说在未来6－12个月内就会有明确答案了，语义？云计算？新的live search？

ps：搞了个日语，估计某国又要举国欢腾了，不是说奥巴马竞选成功就有某市因为其名与未来美国总统发音类似而提前过了个年~ 当然，要是那天google改名yun.com我也很高兴 哈哈

其他相关连接：

http://news.cnet.com/8301-10805_3-10106314-75.html

http://www.guardian.co.uk/technology/blog/2008/nov/24/microsoft-live-kumo

http://www.theregister.co.uk/2008/11/24/kumo_windows_live_search/

http://tinycomb.com/2008/11/23/kumo-microsofts-new-search-engine/

http://www.efluxmedia.com/news_Kumo_The_new_name_Of_Microsoft_Live_Search_29731.html

最近几天没有关注Google Alert 的内容，今天一看，有这么一条消息：Google launches its SearchWiki semantics plug-in。前一段时间Semanti Corp. 发布消息，自己的语义检索插件SemantiFind支持yahoo, msn, google的搜索引擎。而微软买了Powerset（这个试了下没什么感觉，用过的评价下？）后，也有了语义检索引擎，ask也开始尝试语义的东西，而yahoo早在3月份就宣布进军语义网，看来当今检索大佬google也坐不住了，现在自己也加入了一些新变化。记得是一年之内的一次校园招聘里面（或者会议？），微软还是google的管理层被问到语义检索的时候，还是一脸的怀疑，并声称没有这方面的打算，可现在大家却都纷纷着手做了起来。语义，看来真的是下一个网络时代的潮流，真的会变成web3.0了，当前语义的效果确实不尽如人意，但是如果成功的话，影响将是不可忽视的。IBM，微软，google，不同时代的代表，下一个会是谁？大家争先恐后。

言归正传，说说google的SearchWiki，思想上借鉴了wiki的东西，允许用户对检索的结果进行提升，删除和评论，但是每个用户的改变只影响自己的检索结果，不过可以看到大家对检索结果的编辑情况。其实，google当前的变化还很简单，算不上语义，只能算是个性化订制的一点扩展，感觉比SemantiFind还要简单，不过也算是对用户意图的改进了。刚刚在google上找了一下，也没看到这个插件，却发现了这样片文章：Google SearchWiki Vanishes (Updated)，打开一看，写道google说这是因为有bug，正在恢复中。。。  更新：现在可以用了，不过要上http://www.google.com/并登陆账号才可以~   我晕了 ，一会能用，一会不能用，估计测试中。。。

提供一个youtube上google对SearchWiki介绍的视频，感兴趣的可以了解下：

其他相关链接：

http://www.betanews.com/article/Askcom_v_11_tries_new_search_technologies/1223316977
http://www.betanews.com/article/New_Google_tools_sift_and_sort_search_results/1225353991
http://news.bbc.co.uk/1/hi/technology/7296056.stm
http://www.betanews.com/article/Semantic_search_plugin_comes_to_Google_Yahoo_MSN/1225720138
http://googleblog.blogspot.com/2008/11/searchwiki-make-search-your-own.html
http://searchengineland.com/google-searchwiki-101-an-illustrated-guide-15580.php
http://googlesystem.blogspot.com/2008/11/google-searchwiki-launched.html