데이터마이닝 소프트웨어

 

데이터마이닝 도구 [그림출처 : eduCBA]

1. 데이터마이닝 소프트웨어 필요성

데이터마이닝은 데이터를 설명하거나 예측을 용이하게 하기 위하여 데이터로부터 패턴과 관계를 발견하는 다양한 분석 도구를 사용한다. 다양하고 심도 있게 분석할 문제들이 증가함에 따라 훨씬 더 경력한 분석도구에 대한 필요성이 제기되고 있다. 일반 회사나 조직에서는 수천만 그 이상의 데이터와 수백 또는 그 이상의 변수들을 다루기 위해 확장성이 있는 데이터마이닝 소프트웨어를 필요로 한다. 또한 사용자 편의성을 잘 살린 인터페이스(Graphical User Interface)를 이용할 경우 예측 모델의 개발 및 관리, 적용하는 것이 훨씬 쉬어질 수 있다.

 

2. 데이터마이닝 소프트웨어 조건

데이터마이닝은 단순히 특정 기법이나 알고리즘이 아니라 완전한 하나의 프로세스이다.

산업용 데이터마이닝 분석도구는 이러한 프로세스의 모든 단계를 지원해야 하고, 모든 크기의 데이터베이스를 처리 가능해야 한다. 그리고 가장 복잡한 문제들도 다룰 수 있어야 한다.

1) 데이터 통합

데이터마이닝 소프트웨어는 모든 데이터를 하나로 통합할 수 있어야 한다. 데이터마이닝 도구는 다양한 데이터베이스 관리 시스템을 통해 데이터베이스에 접근할 필요가 있고, Raw 데이터로부터 데이터를 통합하고 일부 데이터를 추출하는 기능을 지원해야 한다. 또한 일부 데이터는 테라바이트 이상의 대용량이기 때문에 로딩 시간이 짧아야 하고, 다양한 표본 추출 방법을 지원해야 한다.

 

2) 데이터 탐색과 처리

데이터마이닝 소프트웨어는 모델구축의 시작단계를 이해하고 제안하기 위해 데이터의 탐색과 처리를 수월하게 할 수 있어야 한다. 하나의 데이터베이스에 수백 또는 수천 개의 변수가 있다고 할 때 이러한 상황에서 가장 큰 과제는 데이터를 보다 더 잘 설명할 수 있는 변수들을 선택하고, 이를 통해 매우 강력한 예측을 하는 것이다. 여기서 시각화 도구는 중요한 변수를 분석하고 대용량 데이터베이스에서 의미 있는 패턴을 발견할 수 있게 한다. 일부 알고리즘은 가장 관련성이 높은 변수들을 선택하기 위한 보조 수단으로 사용하기에 적합할 수 있다. 하지만 대개의 경우 가장 좋은 예측 변수들은 데이터베이스 내에 있는 변수 자체가 아니라 이 변수들을 수학적으로 결합한 변수들이다.

 

3) 탐색적 모델 개발

모델을 구축하고 평가하는 것은 반복적인 과정이다. 그래서 최선의 모델을 결정하기 이전에 수십 개 또는 그 이상의 탐색적 모델들이 개발될 수 있다. 소프트웨어를 이용하여 구축하는 개별 모델의 경우 모델개발기간이 적당히 소요되지만, 높은 스펙의 하드웨어에서 소프트웨어를 구동하지 않을 경우 처리시간이 기하급수적으로 늘어나게 된다. 이러한 단계가 데이터마이닝의 많은 부분을 차지한다고 생각할 수 있지만, 이 단계는 보통 데이터마이닝의 일부에 지나지 않는다.

 

4) 타 시스템과 통합

모델을 구축, 검증, 선택한 후에는 모델을 실제로 적용해 보는 것이 반드시 필요하다. 데이터 중의 일부를 이용하여 구축된 모델은 이제 수백만 또는 그 이상의 사례에 적용되거나 매초마다 수십만 개의 거래를 처리하는 실시간 운용프로그램과 통합될 수 있어야 한다. 

 

3. 데이터마이닝 도구의 종류

데이터마이닝 도구에는 DBMS에 내재되어 있거나 독립적인 프로그램으로, 범용 데이터마이닝 도구와 특수목적용 도구가 있다.

1) 범용 데이터마이닝 도구

주요 데이터베이스 관리 소프트웨어 공급회사들은 자신의 제품에 데이터마이닝 기능을 포함시켜왔다. 이러한 제품들은 DBMS를 사용하여 변수들을 변환시키고, 데이터베이스 모형을 저장하며 데이터 SQL 같은 접근 언어를 사용하여 모델구축과 데이터베이스를 평가하는 작업을 수행하는 등 데이터베이스의 이점을 다양하게 활용할 수 있다. 일부 제품들은 데이터마이닝 모델구축을 위해 별도의 그래픽 인터페이스를 제공하기도 한다. 데이터베이스에 내재된 데이터마이닝 도구는 대게 이를 활용함으로써 더 다양하고 좋은 성과를 얻을 수 있다.

독립적인 데이터마이닝 도구들은 하나의 알고리즘 또는 다양한 알고리즘의 모음을 포함하고 있다. 이러한 알고리즘의 모임을 포함하고 있는 제품들은 뛰어난 시각화 도구를 가지고 있으며 이 제품들이 수행하는 기능을 확장시키기 위해 통계 패키지와 호환될 수 있는 인터페이스를 제공하기도 한다. 또한 대부분 좀 더 복잡한 데이터 변환을 지원하기 위해 절차적 스크립트 언어를 제공하고 있다. 이러한 제품들은 전체적으로 데이터마이닝 프로세스를 개관할 수 있도록 작업 흐름도를 그래픽 인터페이스 형태로 보여주기도 한다.  알고리즘 통합 제품군 회사들은 그들의 데이터마이닝 도구를 자사의 DBMS에 의해 처리되고, 데이터마이닝 모델들은 SQL, 절차적 언어(C++ 등), 또는 예측모델 마크업 언도로 불리는 데이터마이닝 모델 언어를 통해 외부로 출력되어 DBMS에 통합된다.

2) 특수목적용 도구

범용 데이터마이닝 도구와는 다르게 특수목적용 도구들은 신용평가, 고객유지 또는 제품 마케팅과 같은 특정 분석을 위한 응용프로그램 형태로 사용된다. 이러한 도구는 각 상황에 맞는 특정 요구를 좀 더 적극적으로 반영하는 데 그 초점을 맞춘다. 주요 고객은 특정 응용분야에서 전문적 지식을 가진 분석가들이다. 따라서 인터페이스를 비롯하여 알고리즘, 그리고 심지어 전문용어들이 그러한 산업 분석가들을 위해서 고안된다. 특수목적용 도구는 범용 도구에 비해서 유연성은 떨어지지만 이미 해당 분야의 지식이 제품 설계에 충분히 반영된다는 장점이 있으며 노력에 비해서 매우 훌륭한 성과를 제공할 수 있다.

 

그림 출처 : geekflare.com