我喜欢的 | 大王的异想世界

‘我喜欢的’ 分类的存档

Sybase 客户端介绍(Sybase IQ)

热度:

换了工作，第一个项目接触的数据库是Sybase IQ，之前没用过，发现客户端比较少。

现在介绍一些比较常用的客户端。

1、官方Sybase SQL Advantage ：我安装的是12.5.1，只能执行SQL查数据，可以通过sybase的导出命令进行整个库的导出，插入和修改数据也只能使用SQL，可像PL-SQL一样查看表结构。

官方Sybase Central：只能用视图形式查看数据及表结构，可查看建表语句，可以直接在视图修改字段属性，但无法插入修改数据，可以在SQL Advantage上操作。

2、DBArtisan：可以连接多种数据库，连接Sybase时需要设置字符集，可以在视图模式下查看表结构及表数据，可以轻松导出整个库及导出单个表的insert语句，也可以导出建表语句，在视图模式中修改表数据时会像PL-SQL一样自动生成相应的SQL语句，整体来说，这款软件功能还是非常全面的。

3、TOAD for Sybase：TOAD是一款很强大的DB客户端软件，但每个DB都得有个独立的软件，我比较喜欢TOAD … Read More

2011年7月8日01:28 | 没有评论

分类: 我喜欢的, 自己心思

标签:

oracle定位字符串位置

热度:

INTSTRB就可以

INSTR(C1,C2,I,J)
在一个字符串中搜索指定的字符,返回发现指定的字符的位置;
C1 被搜索的字符串
C2 希望搜索的字符串
I 搜索的开始位置,默认为1
J 出现的位置,默认为1
SQL> select instr(‘oracle … Read More

2010年2月22日17:46 | 没有评论

分类: 我喜欢的

标签: instr, oracle

主流ETL工具介绍和选择

热度:

　　ETL工具从厂商来看分为两种,一种是数据库厂商自带的ETL工具,如Oracle warehouse builder、Oracle Data Integrator。另外一种是第三方工具提供商，如Kettle。开源世界也有很多的ETL工具，功能各异，强弱不一。

　　(1)Oracle Data Integrator(ODI)

　　ODI前身是Sunopsis Active Integration Platform，在2006年底被Oracle收购，重新命名为Oracle Data Integrator，主要定位于在ETL和数据集成的场景里使用。ODI和Oracle原来的ETL工具OWB相比有一些显著的特点，比如和OWB一样是ELT架构，但是比OWB支持更多的异构的数据源，ODI提供了call … Read More

2010年1月29日01:23 | 没有评论

分类: Pentaho, 我喜欢的

标签:

ETL中的几个关键技术

热度:

　　ETL过程中的主要环节就是数据抽取、数据转换和加工、数据装载。为了实现这些功能，各个ETL工具一般会进行一些功能上的扩充，例如工作流、调度引擎、规则引擎、脚本支持、统计信息等。

　　2.1 数据抽取

　　数据抽取是从数据源中抽取数据的过程。实际应用中，数据源较多采用的是关系数据库。从数据库中抽取数据一般有以下几种方式。

　　(1)全量抽取

　　全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图的数据原封不动的从数据库中抽取出来，并转换成自己的ETL工具可以识别的格式。全量抽取比较简单。

　　(2)增量抽取

　　增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL使用过程中。增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到;性能，不能对业务系统造成太大的压力，影响现有业务。目前增量数据抽取中常用的捕获变化数据的方法有：

　　a.触发器：在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高，缺点是要求业务表建立触发器，对业务系统有一定的影响。

　　b.时间戳：它是一种基于快照比较的变化数据捕获方式，在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。当进行数据抽取时，通过比较系统时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新，即表的其它字段的数据发生改变时，自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新，这就要求业务系统在更新业务数据时，手工更新时间戳字段。同触发器方式一样，时间戳方式的性能也比较好，数据抽取相对清楚简单，但对业务系统也有很大的倾入性(加入额外的时间戳字段)，特别是对不支持时间戳的自动更新的数据库，还要求业务系统进行额外的更新时间戳操作。另外，无法捕获对时间戳以前数据的delete和update操作,在数据准确性上受到了一定的限制。

　　c.全表比对：典型的全表比对的方式是采用MD5校验码。ETL工具事先为要抽取的表建立一个结构类似的MD5临时表，该临时表记录源表主键以及根据所有字段的数据计算出来的MD5校验码。每次进行数据抽取时，对源表和MD5临时表进行MD5校验码的比对，从而决定源表中的数据是新增、修改还是删除，同时更新MD5校验码。MD5方式的优点是对源系统的倾入性较小(仅需要建立一个MD5临时表)，但缺点也是显而易见的，与触发器和时间戳方式中的主动通知不同，MD5方式是被动的进行全表数据的比对，性能较差。当表中没有主键或唯一列且含有重复记录时，MD5方式的准确性较差。

　　d.日志对比：通过分析数据库自身的日志来判断变化的数据。Oracle的改变数据捕获(CDC，Changed Data Capture)技术是这方面的代表。CDC … Read More

2010年1月29日01:17 | 没有评论

分类: Pentaho, 我喜欢的, 转载文章

标签: