開源BI系統(tǒng)簡述

海為科技 2007-07-15

展開全文

1. 概述

開源的BI項目在在2005年之前并沒有太大的發(fā)展，到了2005年才開始呈現(xiàn)繁榮之勢,，并在2006年蓬勃發(fā)展,。這些眾多的BI項目從規(guī)模和對BI系統(tǒng)支撐的完善程度上來說，大體可以分為Framework,、Stand-alone Tools和BI Suit三種類型,。

l Framework

開源框架，這是在商業(yè)BI系統(tǒng)中所沒有的,。我們可以使用它們來構建自己的BI工具,，或者增強和擴展我們的BI解決方案。

l Stand-alone Tools

獨立的BI工具,，這是開源項目中數(shù)量最多的一類,。很多工具只側重BI系統(tǒng)中的某個環(huán)節(jié)和方面，如ETL,、Report,、OLAP和Database等等。

l BI Suit

在統(tǒng)一的架構下提供了多種BI系統(tǒng)的特性的工具集合,。就目前的情況看,，不管是商業(yè)軟件還是開源軟件，還沒有任何一個套件提供了完整的端到端的BI解決方案,。這些開源的BI Suit是通過連接多個其他的組件和工具的方式形成套件的,，由于BI系統(tǒng)涉及到的工具是非常多的，所以整合一套完整的BI解決方案是很困難的,。

2. BI解決方案中的工具

一個完整的BI解決方案中有多種工具來完成BI系統(tǒng)中各個階段的工作,。

2.1. ETL工具

數(shù)據(jù)抽取、轉換和加載工具,。優(yōu)秀的ETL工具應該具有以下特性：

1,、 Workflow Management, Job Execution and Scheduling Manager。能方便地定義流程并自動化執(zhí)行ETL任務,。

2,、 Centralized Metadata Repository and Management。集中存儲和管理符合業(yè)界標準的元數(shù)據(jù),。

3,、 Data Profile and Validation?？梢詸z驗數(shù)據(jù)的質量,。

4,、 High Performance。在大負荷的任務執(zhí)行中仍然有良好的性能,。

5,、 Scalable, Platform Independent。具有良好的彈性,，支持多種操作系統(tǒng)和數(shù)據(jù)庫系統(tǒng),，能操作多種異構的數(shù)據(jù)源。

6,、 Open Architecture and API,。具有開放的架構和易于使用的二次開發(fā)接口。

目前較為知名的開源ETL工具有：

1,、 KETL,，由具有IBM和KPMG背景的Kinetic Networks公司開發(fā)，現(xiàn)在已經有三年多的產品應用歷史,，成功應用于一些產品中,，在點擊流（ClickStream）分析應用中表現(xiàn)出色。KETL采用Plug-in的架構,，使用Java開發(fā),。

2、 KETTLE,，為一個元數(shù)據(jù)驅動的ETL工具,。已經加入Pentaho。

3,、 Clover ETL,，為一個基于Java的ETL Framework，可以用來開發(fā)自己的ETL應用,。

4,、 Enhydra Octopus，為一個基于Java的ETL工具,，使用JDBC來連接各種數(shù)據(jù)源,，易于使用和部署。曾有人應用于電信網絡資源分析系統(tǒng)中,。

2.2. 報表工具

優(yōu)秀的報表工具通常具有以下特性：

1,、支持多種數(shù)據(jù)源。

2,、直觀的可視化設計器,，簡單易用的報表定制功能。

3,、方便的數(shù)據(jù)訪問和格式化,，豐富的數(shù)據(jù)呈現(xiàn)方式,。

4、符合數(shù)據(jù)呈現(xiàn)的通用標準,，能和應用程序很好地進行結合,。

5、易于擴展和部署,。

目前較為知名的開源報表工具有：

1、 JasperReports,，一個優(yōu)秀的Java報表工具,，始于2001，現(xiàn)在JasperSoft公司持續(xù)開發(fā)和支持該工具,。該工具類似于商業(yè)軟件Crystal Report,，支持PDF、HTML,、XLS,、CSV和XML文件輸出格式，現(xiàn)在是Java開發(fā)者最常用的報表工具,。

2,、 OpenReports，提供基于web的靈活報表解決方案,，通過瀏覽器自動生成動態(tài)PDF,XLS,HTMLCSV 和Chart報表,，它是用Java開發(fā)的，使用JasperReports 作為報表引擎,，利用到的開源技術有Hibernate,Veloctiy,Webwork,。

3、 JFreeReport,，現(xiàn)在是Pentaho的一部分,，它是一個優(yōu)秀的用來生成報表的Java類庫。它為Java應用程序提供一個靈活的打印功能并支持輸出到打印機和PDF, Excel, HTML和XHTML, PlainText, XML和CSV文件中,。

4,、 Eclipse BIRT，是Eclipse下面的一個企業(yè)智能和報表工具,，能為J2EE的WEB應用程序創(chuàng)建漂亮醒目的PDF或者HTML格式的報表,，它提供了核心的報表功能。

2.3. OLAP工具

聯(lián)機分析處理工具,。目前開源的OLAP工具也分為MOLAP,、ROLAP和HOLAP，優(yōu)秀的OLAP工具通常有以下特性：

1,、良好的執(zhí)行性能,，能快速地進行分析處理工作,。

2、良好的適用性和可伸縮性,。

3,、開放式接口和豐富的API。

目前較為知名的開源OLAP工具有：

1,、 Mondrian,，是Pentaho的一部分，為一個用Java開發(fā)的OLAP服務器,，實現(xiàn)了MDX語言,、XML解析和JOLAP規(guī)范，可以不寫SQL就能分析存儲于SQL 數(shù)據(jù)庫的龐大數(shù)據(jù)集,，可以封裝JDBC數(shù)據(jù)源并把數(shù)據(jù)以多維的方式展現(xiàn)出來,。

2、 JPivot,，是一個JSP 自定制的標簽庫,，可以繪制一個OLAP表格和圖表。用戶可以執(zhí)行典型的OLAP導航,，如下鉆,，切片和方塊。它使用Mondrian 作為其OLAP服務器,。它使用WCF (Web Component Framework) ,，基于XML/XSLT來渲染Web UI組件。JPivot在元數(shù)據(jù)緩存方面的過于簡化的整體性初始化裝載的做法將限制它只能處理很小的立方體（Cube）,。

2.4. 數(shù)據(jù)庫

開源的數(shù)據(jù)庫也有很多,，大多數(shù)為關系型數(shù)據(jù)庫，少數(shù)為應用于數(shù)據(jù)倉庫環(huán)境做了專門的優(yōu)化工作,。Bizgres以PostgreSQL為基礎進行了數(shù)據(jù)倉庫環(huán)境下的優(yōu)化,，提高了分析查詢性能。

3. 開源BI套件

下面列出相對成熟和完整,，并且有借鑒意義的開源BI套件,。

3.1. Bizgres

為GreenPlum公司主導的開源項目，和Sun公司達成合作關系,。Bizgres為BI應用而對PostgreSQL做了優(yōu)化,，提高了大負荷的并行計算能力，在BI環(huán)境中,，相對于普通的關系型數(shù)據(jù)庫具有卓越的數(shù)據(jù)處理性能,。Bizgres的數(shù)據(jù)庫平臺可以和KETL和JasperReports進行整合，從而形成一個BI套件：