[좐]군의 To-Be

DW에 적합한 검색 및 정렬 기법 FAST & LFM

핵심은 열단위 처리를 하여 레코드단위보다 월등한 처리속도를 내어 특정값을 다양한 차원으로 접근하는 DW시스템에 적합한 기법이다.

다음은 휴먼에스티라는 업체이 홈페이지에서 가져올 글이다.

FAST (Filtering Array Structure)

RDBMS기반 데이터 처리는 레코드 단위처리입니다. 그로 인한 비효율적인 작업이 필수 불가결 하였습니다. 그러나, FAST구조는 Field, Column단위처리가 가능하도록 테이블의 각 Column에 대해 성분분해 관리 합니다. FAST 성분 분해로 인하여 고가의 디스크 스페이스를 대폭 절감 할 수 있습니다. 또한, 무한대에 가까운 20억행의 레코드를 조작할 수 있을 뿐 아니라, 가시적인 처리가 가능하게 되었습니다.

LFM (Linear Filtering Method)

LFM은 FAST구조를 처리하기 위한 알고리즘 입니다.
대용량 DB 처리에 특화 되어 있어 대용량 DB조차도 일괄적으로 처리합니다.
LFM의 모든 프로세스가 On Memory로 처리 되어지기 때문에 RDBMS의 불필요한 디스크 액세스를 발생 시키지 않으므로 고속처리가 가능합니다.
또한, RDBMS의 Query과정에서 반드시 발생하는 중간파일 생성이 없기때문에 더욱 빠른 처리가 가능했습니다.

예를 들어, 기존의 Sort처리에 필요한 시간은 n개의 레코드수에 대하여 이론적으로 n*log(n)으로서 레코드 수가 증가함에 따라 점점 더 느려지는 경향을 가지고 있습니다.
하지만 FAST구조를 이용한 LFM기법에서는 레코드 수 n의 증가에 따라 선형적인 증가를 보이고 있습니다.
이러한 특성때문에, 데이터의 증가에 따른 미래 처리시간의 예측과 하드웨어 증강 시기의 적절한 판단이 용이합니다.

또한, FAST구조는 검색, 조인, 집계, 다단계 처리 등 어떠한 처리를 하여도 FAST구조를 그대로 지니고 있는 특성이 있으므로 모든 처리에 대하여 선형성을 유지할 수 있습니다.
이러한 데이터 처리를 할 때에 FAST구조내의 데이터는 최소한의 갱신처리만 실행 되므로 초고속 처리를 실현 할 수 있습니다.

FAST구조가 유용하게 사용되어 지는 또하나의 특성은 바로 병렬화입니다. 일반적으로 단일 메모리 공간상의 FAST구조를 분산병렬 환경상의 FAST구조로 변환할 수 있습니다. 기존의 모든 처리는 분산 병렬 환경상에서 프로세서수와 통신경로에 비례하여 Bottle Neck을 발생시크지 않고 병령도를 올릴 수 있습니다. 즉, 성분분해법을 사용하면 사실상 얼마든지 빠른 일반 데이터 베이스 시스템을 설계할 수가 있습니다.

추가자료 다운로드 :

LFM.pdf