[뉴스투데이=김태진 기자] 데이터 마이닝(data mining)이란 대량의 데이터에서 체계적이고 자동적으로 통계적 규칙이나 유용한 정보를 추출하는 것을 뜻한다. 이 때는 통계적·수학적 기법과 인공지능을 활용한 패턴인식 기술 등을 이용한다. 그 결과 데이터 속에서 유의미한 관계와 규칙을 발견한다.

데이터를 탐색하고 모델을 구축하는 다양한 기법들은 통계학 분야에서 오랫동안 존재해 왔다. 선형 회귀분석, 로지스틱 회귀분석, 판별분석, 주성분 분석 등이 있다.

그러나 충분한 데이터와 계산능력을 갖춘 데이터 마이닝의 응용분야에서는 이러한 고전적인 통계학의 핵심원리가 적용되지 않아 의미 있는 패턴과 규칙의 발견을 위한 방법인 데이터 마이닝이 고안되었다고 볼 수 있다. 

▶데이터 마이닝 전문가가 하는 일은?

데이터 마이닝 전문가는 여러 분야에서 활약한다. 군사 분야에서는 미사일 탄도의 궤도에 영향을 주는 요인들을 분석해 탄도에 영향 요인을 알아낸다. 국가정보기관에서 도청되는 통신 중 중요성이 높은 정보 추출, 네트워크 분야에서 위협요인이 있는 바이러스 판단 여부 역할도 담당한다.

고객들의 인터넷 상에서 소비패턴 분석 후 상품 추천도 데이터 마이닝 역할에 해당된다. 또한, 미국 대통령 오바마의 재선을 위해서도 데이터 마이닝 전문가가 유권자들의 분류, 그에 따른 접근 방식 등에 대한 결정을 내리기도 했다.

▶데이터 마이닝 전문가가 되려면?

데이터 마이닝은 수많은 정보를 다각도로 분석하기 위해 다양한 분석기법과 시각화 도구 사용법 파악이 중요하다. 대부분의 도구들은 인터넷 프로그램 기반이기 때문에 컴퓨터 지식이 필수적이다. 데이터 마이닝, 기계학습, 자연어 처리, 패턴인식 등이 있다. 또한, 체계적이고 통계학적 분류를 위한 통계적 수학 지식이 동반되어야 한다.

더불어 자료가 현실을 충분히 반영하지 못해 잘못된 정보가 모형을 개발할 수 있다. 이러한 오류를 검출할 수 있는 꼼꼼함과 현실의 사회 흐름을 읽는 시각을 갖추는 것이 중요하다.

▶데이터 마이닝의 미래는?

4차 산업혁명이 다가오는 만큼 데이터의 중요성은 매해 증가하고 있다. 그만큼 데이터 마이닝의 적용 분야도 늘어가고 있다. 데이터 분석을 통해 군집화, 분류, 연관성, 연속성, 예측 등의 분야에서 활용 가능하다.

직업군으로는 스마트공장이 있는 제조업, IT기업, 의료기관, 은행·증권·보험 회사, 공공기관 등이 있다. 빅데이터에 대한 기업 수요가 증가하는 만큼 활용 직군은 더욱 다양해질 전망이다.