ASIQ는 사이베이스에서 개발한 DW 환경에 최적한 제품이다.
다음은 한국사이베이스 홈페이지에서 가져온 ASIQ(Adaptive Server IQ) 특징에 대한 내용이다. 이 중에서도 가장 흥미로운 것은 역시나 DW에 최적화된 "Vertical Processing" 와 "Compress"에 대한 것이다.
그럼 이제 본론으로....

데이터를 저장하고 처리하는 데이터베이스는 데이터 웨어하우스 시스템의 가장 핵심이 되는 요소로 Sybase는 데이터 웨어하우스에서 수행되는 질의의 특성에 맞게 설계된 데이터베이스를 제공합니다. 새로운 기술을 바탕으로 기존의 어떤 데이터베이스보다 빠른 성능을 제공할 수 있으며 정형화된 질의 뿐만 아니라 임의 질의에도 최고의 성능을 보장하는 유연성 그리고 데이터 웨어하우스 구축비용을 절감하여 최고의  투자 대비 효과를 나타낼 수 있는 경제성을 갖춘 ASIQ(Adaptive Server IQ)라는 데이터베이스를 제공 합니다

 

ü        기존 RDBMS는 OLTP와 DSS가 혼재된 데이터베이스 엔진 인데 반해 ASIQ는 데이터 웨어하우스 전용 RDBMS로 인덱싱이나 액세스 방식에서 데이터 웨어하우스에 맞는 새로운 기법으로 구현된 RDBMS로 성능, 유연성, 경제성 측면에서 가장 탁월한 데이터베이스 입니다

ü        기존 RDBMS는 대량의 데이터에 대한 질의 특히 조인에 대한 성능을 높이기 위해 데이터베이스 스키마를 비정규화 즉 Star-Schema 또는 Snowflake-Schema로 디자인 하기를 권장 하지만 ASIQ의 새로운 기술은 데이터베이스 스키마에 대해 어떠한 제약도 두지 않습니다

ü        RDBMS가 처리 능력을 높이기 위해 단일 질의 작업을 MPP와 같은 병렬 노드에 분담시키는 방법으로 대용량 데이터를 처리 하는 기법을 이용하는데 이는 비용에 비해 성능에 문제가 있습니다

 

사실 시스템의 처리속도에 가장 큰 영향을 미치는 것은 I/O양 입니다. 타 RDBMS의 액세스 기법 즉 레코드 별 처리는 소수의 레코드에 대한 처리가 중심인 OLTP에 적합한 기법으로 대량의 데이터를 처리하는 데이터웨어 하우스에는 맞지 않습니다. 그리고 기존 RDBMS의 대표적 인덱싱 기법인 B-Tree 인덱스는 소수의 레코드를 빠르게 액세스 하는 OLTP에 최적화 되어 있어 대량의 데이터에 대해 처리하는 분석 업무와 임의 질의에 대해 대응할 수 없어 결국 유연한 데이터 웨어하우스를 구축할 수 없습니다. 그러나 ASIQ의 새로운 인덱싱 기법은 데이터 유형과 질의 형태에 따라 다양한 인덱스를 제공하고 미리 정의되어 있지 않은 임의 질의(Ad-hoc)에도 최고의 성능을 보장합니다. 다음은 사이베이스 ASIQ의 구조 및 특징입니다.

 

커널구조
ASIQ는 기존 환경에 쉽게 접목 시킬 수 있는 Sybase의 Native Connectivity인 OCDK, 업계 표준 데이터베이스 Connectivity인 ODBC, JAVA환경을 지원하는 JDBC 클라이언트 호출을 모두 지원하고  Ansi Standard 92 표준SQL 명령을 지원할 뿐 아니라 내장된 CIS(Common Integration Services)기능은 메타 데이터 관리 서버인 ASE와 유기적 연동을 지원합니다. 또한 ASIQ는 업계 표준을 따르므로 데이터 웨어하우스 구성요소 인 ETT Tool, OALP Tool, Case Tool과 원활한 연동이 가능한 RDBMS입니다

 

Vertical Processing

기존 RDBMS는 특정 몇 개의 레코드를 빠르게 검색, 삽입, 갱신, 삭제 하는데 주안점을 두고 설계 되었기 때문에 데이터 액세스 방식이 레코드 레벨로 되어 있습니다. 그러나 데이터 웨어하우스는 일정 주기로 데이터가 로드 되며 로드된 후에 액세스 되는 형태로 이용되어 집니다. 이때 데이터 웨어하우스에 사용되는 질의는 레코드의 모든 항목이 필요한 것이 아니라 특정 몇 개의 컬럼만 필요로 합니다. 따라서 레코드 레벨의 데이터 액세스 방식은 불필요한 I/O를 유발 시키므로 데이터 웨어하우스를 효과적으로 지원할 수 없습니다. 이와 같은 I/O의 증가를 피하기 위해 MPP와 같은 병렬 시스템을 이용 하는데 이는 여러 시스템에 I/O를 분산시켜 성능을 향상 시키기 위한 것인데 결국 I/O의 총량은 변화가 없으며 비용 대비 성능이 탁월하지 않은 것으로 나타났습니다. ASIQ는 I/O 자체를 줄일 수 있는 새로운 데이터 액세스 기법을 제공 합니다. 필요한 컬럼만 액세스 하며 각 컬럼은 Bit-Wise Index 기법으로 압축 되어 있어 한번 I/O에 대단히 많은 양의 데이터를 읽어 들일 수 있습니다.  

이러한 혁신적인 데이터 액세스 기법(Vertical Processing)은 I/O양을 90%이상 줄일 수 있어 RDBMS중에 가장 빠른 성능을 나타냅니다. COL3을 기준으로 COL4를 그룹하여 합계를 낼 때 필요한 컬럼만 액세스하는 Vertical Processing과 16K에서 512K 까지의 Large I/O Block은 I/O를 최소화 하여 어떤 RDBMS도 따라올 수 없는 최고의 성능을 보장합니다 그리고 SMP환경에서 ASIQ는 Read, Write를 모두 병렬로 처리 합니다. 병렬 처리의 단위는 컬럼 레벨 까지 처리할 수 있습니다. COL3과 COL4 그리고 COLN이 동시에 액세스 되고 특히 COLN을 연산할 때 COLN의 각 비트 단위별로 병렬 처리가 가능 합니다

 

DB Level Striping

기존 RDBMS에서 여러 디스크에 걸쳐 데이터를 로드할 때 데이터 분산 방식은 테이블 파티션에 의존 합니다.이는 관리자가 어떤 분배 방식을 사용할 것인가를 미리 결정하고 어떤 디스크로 데이터를 분산할 것인가를 미리 설정해야 합니다. 이는 관리자의 비용이 많이 드는 작업이고 잘못된 판단을 하였을 경우 데이터 특정 디스크에 몰리는 현상이 나타납니다. ASIQ의 데이터 분산은 기본적으로 이루어 지며 사용하는 DBSPACE(ASIQ로 할당된 디스크 File)들 중 최소 사이즈를 기준으로 데이터 Block단위로 입력되는 순서에 의해 자동 분산 됩니다. 이러한 분산 방식은 입력되는 데이터가 특정 디스크에 몰리는 현상을 없애고 관리자의 부담을 덜어 줄 수 있습니다.

독특한 데이터 저장 방법
일반적인 DBMS는 데이터와 인덱스를 구분하여 저장하여 처리합니다. 이는 데이터 부분은 자주 변환 되어지지만 인덱스는 자주 변환 되지 않고 소량의 데이터를 찾아 가는 최적의 PATH를 제공하는 OLTP에 적합 하도록 설계가 되어 있기 때문 입니다. 여기서 인덱스의 구조를 살펴보면 인덱스의 시작점인 Root, 그리고 중간 Level 인덱스 페이지, 마지막으로 데이터의 Row-ID를 가지고 있는 Leaf페이지로 구성 되어 있는데 Leaf페이지는 해당 컬럼의 데이터를 모두 가지고 있습니다. ASIQ는 이 인덱스 Leaf페이지를 이용하여 데이터를 저장하고 처리하므로 별도의 데이터 부분이 필요치 않습니다. 따라서 데이터 웨어하우스에 존재하는 대량의 데이터를 저장하는 디스크 소요량을 줄이고 효과적인 액세스 기법을 사용할 수 있습니다.

 

Compress

ASIQ의 특징 중 데이터를 압축저장을 합니다. 카디날리티가 낮을수록 압축 율은 더 높습니다. 그리고 블록사이즈가 클수록 효과적으로 압축할 수 있는데 메모리가 충분하다면 최대 블록 사이즈(512K)로 하는 것이 더욱 효과적 입니다. 예를 들어 원시 데이터가 3년을 기준으로 하면 1.5TB 정도로 추정 된다고 가정했을 때 ASIQ를 이용하여 데이터 웨어하우스를 구축하면 데이터영역 1.2TB와 DB 작업공간 300GB 그리고 Unix 및 ETT영역 500GB로 2TB면 향후 1년을 Disk 추가 없이 이용할 수 있습니다.다른 데이터베이스를 이용할 경우 적어도 4TB이상의 Disk가 소요될 것 입니다

 

Optimizer

ASIQ의 Optimizer는 기본적으로 Cost-Base Optimizer이며 Option과 Hint를 이용하여 개발자가 Optimizer의 Plan과 Index 선택 부분에 대한 제어를 할 수 있습니다. 그리고 병렬처리 및 다양한 Join전략과 Aggregation전략을 제공하여 다중 사용자 환경 또는 Single 사용자환경 과 같은 다양한 상황에 맞는 Option을 제공 합니다. ASIQ Optimizer가 사용하는 Join 전략에는 다음과 같은 방법들이 있습니다.

ü        Nested-Loop

ü        Sort-Merge

ü        Hash

ü        Join-Index                  

ü        Nested-Loop Push Down

ü        Sort-Merge Push Down

ü        Hash Push Down

또한 Aggregation 전략으로는 다음과 같은 방법들을 사용합니다.

ü        Sort-Merge

ü        Hash

ü        Index

그리고 모든 컬럼이 인덱스화 되어 Ad-hoc Query에 대한 성능을 향상시키며 한 테이블에 대한 Index선택도 복수의 인덱스를 선택할 수 있어 보다 나은 성능을 나타낼 수 있는 지능적인 Optimizer입니다.

 

유연성
비정형질의 : 비정형 질의의 가장 큰 문제점은 분석 시점에 나타나지 않은 정보를 요구할 때 인덱스로 설정되지 않은 컬럼을 중심으로 데이터를 보고자 하는 것이 가장 큰 문제가 됩니다. 대량의 데이터를 가지고 있는 테이블을 모두 Read해야만 하기 때문에 I/O를 폭증 시켜 성능에 큰 문제를 야기 시킵니다. 특히 다중 사용자 환경에서 이러한 질의는 다른 사용자에게도 매우 큰 악 영향을 미칩니다. 그러나 ASIQ는 모든 컬럼이 인덱스화 되어 있고 필요한 컬럼만 Read하는 Vertical Processing을 지원하므로 어떤 유형의 비정형 질의에도 절대 테이블 스캔을 하지 않습니다. 그리고 ASIQ의 Cost-Base Query Optimizer는 사용자의 질의 문장이 어떻게 쓰여지든 관계없이 문법과 의미가 맞으면 동일한 성능을 나타냅니다. 비정형 질의에서 성능을 보장할 수 있는 것이 Sybase 데이터 웨어하우스 솔루션의 가장큰 특징 입니다

설계변경 : 분석시점에서 반영되지 않거나 사용 중 필요에 의해 새로운 항목의 추가 및 삭제에 대한 원활한 지원은 데이터 웨어하우스의 요구의 변화에 대한 적응력을 높입니다. 모든 RDBMS는 항목의 추가가 간단한 명령만으로 수행됩니다. 그러나 대량의 데이터를 가진 테이블에 추가된 항복에 데이터를 채우기는 용이하지 않습니다. ASIQ는 컬럼 별 Insert 및 Update를 지원하므로 최소의 부하로 대량의 데이터를 Insert 및 Update할 수 있으며 불필요한 항목은 Schema뿐 아니라 Disk영역에서도 완전히 제거할 수 있습니다

 

DB 재구성
ASIQ는 타 DBMS와 달리 삭제된 공간 즉시 가용공간으로 되돌려 줌으로 DB 재구성 작업을 하지 않습니다.

 

튜닝
타 DBMS에서 튜닝기법은 질의를 중심으로 하는 튜닝을 합니다. 이것은 성능이 떨어지는 모든 질의에 대해 튜닝을 하여야만 하는 부담을 가지고 있고 경우에 따라 인덱스 재생성 혹은 요약 테이블 관리와 같은 비용이 많이 드는 튜닝을 해야 하지만 ASIQ의 튜닝은 데이터를 중심으로 튜닝을 합니다. 컬럼의 카디날리티와 용도만 파악하여 적절한 인덱스 설정하게 되면 해당 컬럼을 사용하는 모든 질의는 동시에 튜닝이 됩니다. 따라서 튜닝하기 쉽고 지속적으로 유지 됩니다.

 

다중 SMP 환경에서의 특징
ASIQ Multiplex의 설치는 1 Day정도로 충분히 설치할 수 있고, Instance추가는 사용자 서비스 중에 1시간 정도의 짧은 작업시간으로 추가할 수 있으며 다중 사용자 환경에서 +98%의 Scalability를 보장합니다. 데이터베이스를 공유하기 위해 별도의 Cluster Software을 사용하지 않고도 모든 Instance는 데이터베이스내의 모든 Object를 공유합니다. 그리고 Instance의 추가 또는 삭제로 인해 Application의 변경을 요구하지 않습니다. 각 노드 간의 H/W Size가 업무에 맞게 조정이 가능하여 동일 Size의 H/W를 요구하지 않을 뿐 아니라 동일 기종을 요구하지도 않습니다.이는 H/W 선택권을 구축할 때나 확장할 때 특정 H/W벤더에서 벗어날 수 있는 유연성을 제공하며 다음과 같은 특징이 있습니다

ü        Shared disk 구조

ü        MPP와 같은 Database partitioning 불필요

ü        각 IQM instance는 전체 DB를 처리

ü        Node간 query parallelism이 없음

ü        No complex cluster interconnect

ü        간단한 management 와 tuning

ü        각 Node는 서로 다른 H/W Size

ü        SAN & RAID와 같은 Disk 솔루션 사용

ü        Node제한이 없음

ü        MPP와 같이 새로운 교육 불 필요

ü        MPP와 비교할 때 비용이 1/10

 

단일 SMP 환경에서의 특징
ASIQ Multiplex의 Instance간 서로 다른 시스템 Resource구성이 가능하며 각 Instance간 서로 다른 업무를 수행함으로 부서간 System 간섭을 피할 수 있고 상호 Fail Over를 유지하여 중단 없는 사용자 서비스를 가능케 합니다. 각 Instance간 사용자를 분배할 수 있어 Load Balance를 유지하며 ASIQ Multiplex에 대한 개발자나 사용자 모두 별도의 교육을 요구하지 않습니다. 그리고 개발자에게 실제 환경과 동일한 개발 환경을 제공하여 개발된 Application에 대한 재검증을 요구하지 않으며 다음과 같은 특징이 있습니다

ü        Single Node에서 구성되어 짐

ü        ASIQ에서 2-3시간 후 ASIQ-M으로 Upgrade

ü        추가적인 H/W 불필요

ü        System Configuration의 변경이 불필요

ü        ASIQ-M Instance간 서로 다르게 구성 가능

ü        ASIQ-M Instance간 서로 다른 업무 가능

ü        ASIQ-M Instance간 서로 다른 User 가능

ü        메인프레임과 같은 Resource Control 가능

ü        Multi-Node ASIQ-M과 동일구조

ü        튜닝을 위한 Down time의 불필요

 

ASIQ-M과 Disk Solution
 ASIQ Multiplex는 OS Level의 공유 Solution을 이용하지 않고 SAN과 같은 Disk Solution을 그대로 이용하기 때문에 구성이 쉽고 확장이 용이합니다. 그리고 Disk Level의 Striping과 DB Level의 Striping을 같이 사용할 수 있어 Disk 확장 시 데이터베이스를 재 구성할 필요가 없으며 다음과 같이 구성하면 성능향상에 많은 도움이 됩니다

ü        H/W Level의 RAID striping, S/W Level의 IQ-M striping을 사용하고 OS striping은 사용 않음

ü        DB Space는 RAW device로 구성

ü        가능하면 SCSI, RAID SCSI adapter, Host SCSI adapter 를 FC Type으로 Upgrade

ü        FC switch 사용

출처 : http://www.sybase.co.kr/

Posted by 좐군