DartGrid's Blog

<< 关于跨库的Join操作 | 首页 | 关于两个instance space >> 2006-07-29 关于解决跨库Join问题的另外一种方案 版权声明 :转载时请以超链接形式标明文章原始出处和作者信息及 本声明 http://dartgrid.blogbus.com/logs/2934284.html 今天和tjm商量出另外一种解决方案,就是利用RDF模型的本身特征来解决这个问题。 首先每个表只属于一个instance space,也就是它所在的那个库的space。要求所有的查询计算都只在自己的库类完成,不在关系数据库这一级做跨库Join。 其次,对于跨多个类的查询,把查询分解为由多个单个类组成多个子语义查询,这些单个类的语义查询被分别独立的做查询计算,但是在查询结果返回为RDF实例时,对所有对象实例ID的生成做统一控制: (1) 实例本身的唯一标识ID用表中能唯一标识该对象的列的值生成(通常是某个表的主键,这个可以在做语义影射的时候由管理员选择哪个列来生成这个ID)。 (2) 与该实例相关联的实例ID也用表中能唯一标识该相关对象的值生成(通常这个值在表中应该是一个外键) 第二类的RDF查询结果的生成时:其实例本身的唯一标识ID用与前述(2)所述一样的方法生成。 其它关联类依此类推。 这样的好处是,跨多个数据库的Join操作就不用做了,查询时只管根据主外键主动生成RDF实例ID。这样,关于同一个对象的statement尽管可能来自不同的数据库,但是都能够在RDF语义层实现融合。跨多个数据库的数据融合问题都在语义层解决了。 其实我觉得这也是RDF做数据集成的一个优势。因为RDF模型是Open的,关于同一对象的属性描述可以是分离的,相互独立的,处于不同的物理位置,来源于不同的网站,由不同的人提出。不象关系数据库那样一定要把多个列的数据都聚集到一块生成一条数据记录。RDF的确是面向开放式数据集成的非常好的数据模型。XML模型也没有解决这个问题。XML只能方便程序员编程序,不能支持像RDF这样的语义集成。 随机文章: About object identity 2006-08-13 关于跨库的Join操作 2006-07-29 About the instance space 2006-07-21 怎么样在DartGrid V2 上避免跨库join,同时也能查出远端数据库的内容? 2006-07-31 关于两个instance space 2006-07-30 收藏到: Del.icio.us Tag: Suggestions 引用地址: dartgrid 发表于 11:58:41 | 编辑 | 继续话题 | 转发 | 推荐 评论 Stub表倒是一个比较好的办法。 不过我的意思是: 1)查询基本可以分为有条件的查询,和无条件的查询,无条件的查询就是全查。 2)如果是有条件的查询,可以通过半连接和stub表的方式提高查询效率。 3)如果是全查,就不要做跨库join了,直接各自把数据库查出,在生成ID时按照统一的方式去生成。 至于唯一id的生产方法,我觉得这个决定于两个因素: 1)跨多个库之间本来就有某个标准,他们之间都用这些ID来引用对象。 2)生成RDF ID的函数或者机制。 第1条我们无法控制,有些数据库有,有些数据库没有,不过我觉得也没有关系。 第2条倒是我们的系统和工具应该支持的功能。 Huajun | [ 回复 ] 所以最好在库内保留join方式, 在库间,要么通过 stub表把join移到库内来,或者直接禁止join,只能二次查询。不过关键还是要解决唯一标识的问题 BlueGuitar | [ 回复 ] 1. DartGrid相对于D2RQ快,就快在数据库内使用了join操作,而不是多级查询。因此,我们要做出差异,必须在数据库内保留这种join方式。 2. 跨库的join确实效率底下。要减少数据传送量,我曾经提出的一些想法的,包括 全局唯一ID和stub数据表。 全局唯一ID类似这里的想法,问题在与这个ID如何生成,如何比较。由于我们不能改变已有的数据表,所以最好是利用(主键+本体论+数据资源信息)来生成。但是对于数据模式比较差的(比如没有主键),我们能否想出其它比较好的唯一ID生成方法?(比如利用查出的全文进行MD5压缩加密之类的。。。) stub表。很多远程调用的协议都有stub的概念。它类似一个远程调用的本地代理。那我们是否可以在跨库join的时候,在本地建立一个远程表的本地代理,该表中,只保存远程表的主键信息。这样,我们可以在本地数据库利用join查出关联信息,再通过结果到远程表中取出相关数据。既利用了Join减少查询次数,又可以减少数据量。要解决的问题是stub表与远程表的同步问题(可以通过后台线程定时同步类似的方法)。 事实上,上次我和毛去公安那边,他们的系统ms就是通过这种方法进行全国联网。应该效果还可以。 BlueGuitar | [ 回复 ] 发表评论

原始快照:web.archive.org