우리가 마주하는 수많은 데이터 속에는 종종 겉으로 드러나지 않는 의미 있는 그룹이나 패턴들이 숨겨져 있습니다. 예를 들어, 수많은 고객 데이터 속에서 비슷한 구매 성향을 가진 고객 그룹을 찾아내거나, 다양한 상품들 중에서 함께 구매될 가능성이 높은 상품 묶음을 발견하는 것은 비즈니스에 매우 중요한 통찰을 제공할 수 있습니다. 바로 이러한 데이터 내부에 자연스럽게 존재하는 유사성이 높은 개체들을 하나의 그룹(군집, Cluster)으로 묶어 분류하고, 각 그룹의 특징을 파악하는 데이터 마이닝 기법이 바로 ‘군집 분석(Cluster Analysis)’입니다. 군집 분석은 정답(레이블)이 없는 데이터에서 스스로 패턴을 찾아내는 대표적인 비지도 학습(Unsupervised Learning) 방법 중 하나로, 고객 세분화, 이상치 탐지, 문서 분류, 이미지 분할 등 매우 다양한 분야에서 활용됩니다. 군집을 형성하는 방식에 따라 크게 계층적 군집 분석(Hierarchical Clustering, 덴드로그램으로 표현)과 비계층적 군집 분석(Non-hierarchical Clustering, K-평균 군집 분석이 대표적)으로 나눌 수 있으며, 데이터 개체 간 또는 군집 간의 유사성을 측정하기 위해 유클리드 거리, 맨하탄 거리, 체비셰프 거리, 자카드 유사도, 코사인 유사도 등 다양한 거리 및 유사도 척도가 사용됩니다. 이 글에서는 군집 분석의 기본 개념부터 주요 방법론, 유사성 측정 방식, 그리고 성공적인 군집 분석을 위한 핵심 고려사항까지 심층적으로 탐구해보겠습니다.
군집 분석이란 무엇이며, 왜 필요할까? 🧐🧩
군집 분석은 데이터가 스스로 말하게 하여, 우리가 미처 알지 못했던 의미 있는 구조를 발견하도록 돕는 강력한 탐색적 분석 도구입니다.
데이터 속 숨은 ‘패밀리’ 찾기: 자연스러운 그룹화
우리는 종종 수많은 개체들을 어떤 기준에 따라 비슷한 것들끼리 묶고 싶어 합니다. 예를 들어, 학교에서는 학생들을 성적이나 특정 과목 선호도에 따라 그룹으로 나눌 수 있고, 도서관에서는 책들을 주제나 장르별로 분류합니다. 군집 분석은 바로 이러한 ‘비슷한 것들끼리 묶는’ 작업을 데이터 기반으로 수행하는 것입니다. 중요한 것은, 이때 미리 정해진 ‘정답’이나 ‘분류 기준’ 없이 데이터 자체의 특성(변수들의 값)만을 이용하여 유사한 개체들을 찾아내고, 서로 다른 특성을 가진 그룹들과는 구분한다는 점입니다. 이렇게 형성된 각 군집(Cluster)은 내부적으로는 동질성이 높고, 다른 군집과는 이질성이 높은 특징을 갖게 됩니다.
유사성 기반 그룹화 기법: ‘끼리끼리’의 원리
군집 분석의 핵심 원리는 “유사한 것은 가깝게, 다른 것은 멀게”입니다. 즉, 데이터 공간에서 서로 가까이 위치하거나 비슷한 패턴을 보이는 데이터 포인트들을 하나의 ‘가족’ 또는 ‘무리’로 인식하고, 멀리 떨어져 있거나 다른 패턴을 보이는 데이터 포인트들과는 다른 그룹으로 분류합니다. 이때 ‘유사성’ 또는 ‘거리’를 어떻게 정의하고 측정하느냐가 군집의 형태와 결과에 매우 중요한 영향을 미칩니다.
군집 분석의 주요 목표 및 활용
군집 분석은 그 자체로 최종적인 분석 목표가 될 수도 있지만, 다른 분석을 위한 전처리 단계나 탐색적 데이터 분석의 중요한 과정으로도 활용됩니다. 주요 목표와 활용 분야는 다음과 같습니다.
- 데이터 요약 및 구조 파악: 방대한 데이터셋을 소수의 의미 있는 군집으로 요약하여 전체 데이터의 구조를 이해하고 복잡성을 줄입니다.
- 새로운 패턴 및 인사이트 발견: 기존에는 알지 못했던 데이터 내의 숨겨진 그룹이나 패턴을 발견하여 새로운 가설을 설정하거나 비즈니스 기회를 포착합니다.
- 이상치 탐지 (Outlier Detection): 어떤 군집에도 속하지 않거나, 매우 작은 크기의 군집을 형성하는 데이터 포인트는 이상치일 가능성이 높으므로 이를 식별하는 데 활용될 수 있습니다.
- 고객 세분화 (Customer Segmentation): 고객의 인구 통계학적 정보, 구매 이력, 행동 패턴 등을 기반으로 유사한 고객 그룹을 찾아내고, 각 그룹의 특성에 맞는 맞춤형 마케팅 전략이나 상품 추천 서비스를 제공합니다. (가장 대표적인 활용 사례)
- 문서 분류 및 토픽 모델링: 유사한 주제나 내용을 가진 문서들을 그룹화하여 자동으로 분류하거나, 텍스트 데이터에서 주요 토픽을 추출합니다.
- 이미지 분할 (Image Segmentation): 이미지 내에서 유사한 색상이나 질감을 가진 픽셀들을 그룹화하여 특정 객체나 영역을 분리해냅니다.
- 생물학 및 의학 연구: 유전자 발현 패턴이 유사한 유전자 그룹을 찾거나, 유사한 증상을 보이는 환자 그룹을 분류하여 질병 연구 및 진단에 활용합니다.
- 사회 과학 연구: 유사한 특성을 가진 사회 집단을 분류하거나, 특정 사회 현상의 유형을 파악합니다.
지도학습(분류)과의 차이점: 정답이 없는 탐험
군집 분석은 종종 지도 학습(Supervised Learning)의 한 방법인 분류(Classification)와 혼동되기도 하지만, 둘 사이에는 결정적인 차이가 있습니다.
- 분류: 이미 각 데이터가 어떤 범주(클래스 또는 레이블)에 속하는지 ‘정답’이 주어진 상태에서 학습하여, 새로운 데이터가 어떤 범주에 속할지를 예측하는 모델을 만듭니다. (예: 스팸 메일 분류 – 각 메일이 스팸인지 아닌지 레이블이 있음)
- 군집 분석: 데이터에 대한 사전 정보나 ‘정답’ 레이블 없이, 데이터 자체의 유사성만을 기반으로 숨겨진 그룹 구조를 발견해내는 비지도 학습 방법입니다. (예: 고객 데이터를 주고 “알아서 비슷한 고객들끼리 묶어봐”라고 하는 것)
즉, 분류는 ‘이미 알고 있는 그룹에 새로운 데이터를 할당’하는 것이고, 군집 분석은 ‘데이터 속에 어떤 그룹들이 숨어있는지 처음으로 찾아내는’ 탐험과 같습니다. Product Owner는 군집 분석 결과를 통해 기존에 인지하지 못했던 새로운 고객 세그먼트를 발견하고, 이를 바탕으로 새로운 제품 기능이나 타겟 마케팅 전략을 수립할 수 있습니다. 데이터 분석가는 복잡한 데이터셋의 구조를 이해하고, 이상치를 탐지하며, 다른 분석 모델의 입력 변수를 생성하는 데 군집 분석을 활용할 수 있습니다.
군집 분석의 주요 방법론: 계층적 vs. 비계층적 🌳🆚🧺
군집 분석 방법론은 크게 군집을 형성해나가는 방식에 따라 계층적 군집 분석과 비계층적 군집 분석으로 나눌 수 있습니다. 각각의 특징과 대표적인 알고리즘을 살펴보겠습니다.
1. 계층적 군집 분석 (Hierarchical Clustering) – 가계도 그리듯 묶어나가기 🌳
정의 및 원리:
계층적 군집 분석은 개별 데이터 포인트들을 점진적으로 유사한 것들끼리 묶어나가거나(병합형/응집형), 또는 전체 데이터를 하나의 큰 군집으로 시작하여 점차 이질적인 부분으로 나누어가는(분할형) 방식으로 군집을 형성합니다. 이러한 과정을 통해 데이터들 간의 계층적인 군집 구조를 나무 모양의 그림인 덴드로그램(Dendrogram)으로 시각화할 수 있습니다.
- 병합형/응집형 (Agglomerative) 계층적 군집: 가장 널리 사용되는 방식으로, 다음과 같은 단계를 거칩니다.
- 각 데이터 포인트를 하나의 개별적인 군집으로 간주합니다. (즉, N개의 데이터 포인트가 있다면 N개의 군집으로 시작)
- 모든 군집 간의 거리(또는 유사도)를 계산합니다.
- 가장 가까운(유사한) 두 군집을 찾아 하나의 새로운 군집으로 병합합니다.
- 다시 모든 군집 간의 거리를 계산합니다. (새롭게 형성된 군집과 기존 군집 간의 거리 계산 방식이 중요 – 아래 ‘군집 간 연결 방법’ 참조)
- 모든 데이터 포인트가 하나의 거대한 군집으로 묶일 때까지 3~4단계를 반복합니다.
- 분할형 (Divisive) 계층적 군집: 병합형과 반대로, 처음에는 모든 데이터 포인트를 하나의 군집으로 간주하고, 특정 기준에 따라 점차 작은 군집들로 분리해나갑니다. 계산량이 많아 병합형보다 덜 사용되는 경향이 있습니다.
덴드로그램 (Dendrogram):
계층적 군집 분석의 결과는 주로 덴드로그램이라는 나무 형태의 다이어그램으로 시각화됩니다.
- 가로축은 개별 데이터 포인트를 나타내고, 세로축은 군집 간의 거리 또는 유사도를 나타냅니다.
- 아래에서부터 위로 올라가면서 데이터 포인트들이나 하위 군집들이 어떤 순서로, 어떤 거리(높이)에서 병합되는지를 보여줍니다.
- 분석가는 이 덴드로그램을 보고 적절한 높이에서 수평선을 그어 군집의 개수를 결정할 수 있습니다. (즉, 군집 개수를 미리 정할 필요 없이, 결과를 보고 사후적으로 판단 가능)
군집 간 연결 방법 (Linkage Methods):
새롭게 병합된 군집과 다른 군집 간의 거리를 어떻게 정의하느냐에 따라 군집의 형태가 달라질 수 있습니다. 주요 연결 방법은 다음과 같습니다.
- 단일 연결 (Single Linkage / Nearest Neighbor): 두 군집에 속한 데이터 포인트들 간의 모든 쌍의 거리 중 최단 거리를 두 군집 간의 거리로 정의합니다. 길게 늘어선 사슬 형태의 군집을 만들기 쉽습니다.
- 완전 연결 (Complete Linkage / Farthest Neighbor): 두 군집에 속한 데이터 포인트들 간의 모든 쌍의 거리 중 최장 거리를 두 군집 간의 거리로 정의합니다. 비교적 동그랗고 콤팩트한 군집을 만드는 경향이 있습니다.
- 평균 연결 (Average Linkage): 두 군집에 속한 모든 데이터 포인트 쌍들 간의 평균 거리를 두 군집 간의 거리로 정의합니다. 단일 연결과 완전 연결의 중간적인 특성을 갖습니다.
- 중심 연결 (Centroid Linkage): 각 군집의 중심(평균)을 계산하고, 두 군집 중심 간의 거리를 두 군집 간의 거리로 정의합니다.
- 와드 연결 (Ward’s Linkage / Ward’s Method): 두 군집을 병합했을 때, 군집 내 편차 제곱합(Within-cluster Sum of Squares, WCSS)의 증가량을 최소화하는 방향으로 군집을 병합합니다. 비교적 크기가 비슷한 군집을 만드는 경향이 있으며, 널리 사용됩니다.
장점:
- 군집의 개수(K)를 미리 정할 필요가 없습니다. 덴드로그램을 보고 분석가가 적절한 수준에서 군집 개수를 결정할 수 있습니다.
- 군집이 형성되는 계층적인 과정을 덴드로그램을 통해 시각적으로 파악할 수 있어, 데이터의 구조를 이해하는 데 도움이 됩니다.
- 다양한 군집 간 연결 방법을 사용하여 데이터 특성에 맞는 군집화를 시도할 수 있습니다.
단점:
- 계산량이 많아 대용량 데이터셋에는 적용하기 어렵습니다. (모든 데이터 포인트 쌍 간의 거리를 계산해야 하므로 시간 복잡도가 높음)
- 한번 군집이 형성되면(병합 또는 분할되면) 이후 단계에서 그 결정이 번복되지 않아, 초기 단계의 잘못된 병합이 전체 결과에 영향을 미칠 수 있습니다. (Greedy approach)
- 어떤 연결 방법을 사용하고, 덴드로그램의 어느 수준에서 군집을 자를지에 대한 판단이 다소 주관적일 수 있습니다.
예시:
- 생물학에서 종(Species)들의 진화 관계를 나타내는 계통수(Phylogenetic Tree) 작성.
- 문서들을 주제의 유사성에 따라 계층적으로 분류.
- 소비자들의 라이프스타일 유형을 계층적으로 분석.
2. 비계층적 군집 분석 (Non-hierarchical Clustering / Partitioning Clustering) – 미리 정한 바구니에 담기 🧺
정의 및 원리:
비계층적 군집 분석(또는 분할적 군집 분석)은 전체 데이터를 미리 정해진 K개의 서로 배타적인 군집(Partition)으로 나누는 방식입니다. 각 데이터 포인트는 자신이 속한 군집 내에서는 유사성이 높고, 다른 군집에 속한 데이터 포인트와는 유사성이 낮도록 할당됩니다. 가장 대표적인 알고리즘으로 K-평균 군집 분석(K-Means Clustering)이 있습니다.
K-평균 군집 분석 (K-Means Clustering):
- 작동 방식 (알고리즘 단계):
- 초기화 (Initialization): 분석가가 미리 지정한 군집의 개수(K)만큼의 초기 군집 중심(Centroid)을 임의로 설정합니다. (또는 특정 방법을 사용하여 초기 중심을 선택)
- 할당 (Assignment): 각 데이터 포인트를 현재의 K개 군집 중심들 중에서 가장 가까운(거리가 짧은) 군집 중심에 할당합니다. (일반적으로 유클리드 거리 사용)
- 중심 업데이트 (Update): 2단계에서 각 군집에 새롭게 할당된 데이터 포인트들의 평균을 계산하여 해당 군집의 새로운 중심(Centroid)으로 업데이트합니다.
- 반복 (Iteration): 2단계와 3단계를 군집 중심의 위치에 더 이상 변화가 없거나, 미리 정해진 반복 횟수에 도달할 때까지 반복합니다.
- 중요 파라미터:
- K (군집의 개수): 분석가가 사전에 반드시 지정해야 하는 가장 중요한 파라미터입니다. 적절한 K값을 찾는 것이 K-평균 군집 분석의 성패를 좌우할 수 있습니다. (아래 ‘성공적인 군집 분석을 위한 핵심 고려사항’에서 K값 결정 방법 참조)
- 목표: 각 데이터 포인트로부터 자신이 속한 군집의 중심까지의 거리 제곱합(WCSS, Within-Cluster Sum of Squares 또는 SSE, Sum of Squared Errors)을 최소화하는 K개의 군집을 찾는 것입니다.
장점:
- 알고리즘이 비교적 간단하고 이해하기 쉬우며, 계산 속도가 빨라 대용량 데이터셋에도 적용하기 용이합니다.
- 다양한 분야에서 널리 사용되고 있으며, 많은 분석 도구에서 쉽게 구현할 수 있습니다.
단점:
- 최적의 군집 개수(K)를 분석가가 미리 지정해야 하는 어려움이 있습니다. (K값 선택에 따라 결과가 크게 달라짐)
- 초기 군집 중심의 위치에 따라 최종 군집 결과가 달라질 수 있습니다. (지역 최적해(Local Optimum)에 빠질 위험. 이를 해결하기 위해 여러 번 다른 초기 중심으로 시작하여 가장 좋은 결과를 선택하는 방법(예: K-Means++)이 사용되기도 합니다.)
- 구형(Spherical)이 아니거나 크기가 서로 다른 복잡한 모양의 군집은 잘 찾아내지 못하는 경향이 있습니다. (각 데이터 포인트를 가장 가까운 ‘중심’에 할당하므로)
- 이상치(Outlier)에 민감하게 반응하여 군집 중심이 왜곡될 수 있습니다.
- 범주형 데이터에는 직접 적용하기 어렵습니다. (거리 계산 기반이므로. K-모드(K-Modes)와 같은 변형 알고리즘 사용)
예시:
- 고객 시장 세분화: 구매 패턴, 인구 통계 정보 등을 바탕으로 고객들을 K개의 뚜렷한 그룹으로 분류하여 타겟 마케팅 전략 수립.
- 이미지 압축 (색상 군집화): 이미지 내의 수많은 색상들을 K개의 대표 색상으로 군집화하여 표현함으로써 이미지 파일 크기를 줄입니다.
- 문서 군집화: 특정 키워드 등장 빈도 등을 기준으로 문서들을 K개의 주제 그룹으로 분류.
3. 기타 주요 군집 분석 방법 (간략 소개)
- 밀도 기반 군집 분석 (Density-based Clustering): 데이터 포인트들이 빽빽하게 모여 있는 영역(고밀도 영역)을 하나의 군집으로 인식하고, 이러한 고밀도 영역들을 서로 연결하여 임의의 모양을 가진 군집을 찾아냅니다. 앞서 이상치 탐지에서 언급된 DBSCAN이 대표적이며, 노이즈(이상치)를 잘 구분해내고 군집 개수를 미리 정할 필요가 없다는 장점이 있습니다.
- 모델 기반 군집 분석 (Model-based Clustering): 데이터가 특정 확률 분포(모델)로부터 생성되었다고 가정하고, 각 데이터 포인트가 어떤 분포(군집)에 속할 확률을 추정하는 방식입니다. 가우시안 혼합 모델(Gaussian Mixture Models, GMM)이 대표적이며, 각 군집이 가우시안(정규) 분포를 따른다고 가정하고 EM(Expectation-Maximization) 알고리즘 등을 사용하여 모델 파라미터를 추정합니다. 타원형 등 다양한 모양의 군집을 찾을 수 있고, 각 데이터가 여러 군집에 속할 확률(Soft Clustering)도 제공할 수 있습니다.
- 격자 기반 군집 분석 (Grid-based Clustering): 데이터 공간을 여러 개의 작은 격자(셀)로 나눈 후, 데이터 포인트가 많이 포함된 고밀도 셀들을 중심으로 군집을 형성하는 방식입니다. 처리 속도가 빠르다는 장점이 있지만, 격자 크기 설정에 민감하고 고차원 데이터에는 적용하기 어려울 수 있습니다. (예: STING, CLIQUE)
계층적 군집 분석 vs. K-평균 군집 분석 비교
| 구분 | 계층적 군집 분석 (Hierarchical Clustering) | K-평균 군집 분석 (K-Means Clustering) |
| 핵심 원리 | 개별 데이터부터 병합(응집형) 또는 전체에서 분할(분할형)하여 계층적 구조 형성 | 미리 정한 K개의 군집 중심으로 데이터를 반복적으로 할당 및 중심 업데이트 |
| 군집 개수(K) | 미리 정할 필요 없음 (덴드로그램 보고 사후 결정) | 반드시 사전에 지정해야 함 |
| 결과 형태 | 덴드로그램 (나무 구조), 군집 간 계층 관계 파악 가능 | K개의 서로 배타적인 군집 (계층 관계 없음) |
| 계산 복잡도 | 상대적으로 높음 (특히 대용량 데이터) | 상대적으로 낮음 (대용량 데이터에 적합) |
| 초기값 민감도 | 없음 (결정론적 알고리즘) | 초기 군집 중심 위치에 따라 결과 달라질 수 있음 (확률론적 요소) |
| 군집 모양 | 다양한 모양 가능 (연결 방법에 따라) | 주로 구형(Spherical) 군집을 잘 찾음 |
| 주요 장점 | K값 사전 지정 불필요, 군집 형성 과정 시각화 | 간단하고 빠름, 대용량 데이터에 효율적 |
| 주요 단점 | 대용량 데이터 처리 어려움, 한번 형성된 군집 변경 불가 | K값 선택 어려움, 초기 중심 민감, 복잡한 모양/크기 군집 어려움 |
‘거리’와 ‘유사도’: 군집을 나누는 기준 📏❤️💔
군집 분석의 핵심은 ‘유사한 데이터끼리 묶는 것’입니다. 그렇다면 무엇을 기준으로 ‘유사하다’ 또는 ‘유사하지 않다’를 판단할 수 있을까요? 바로 데이터 포인트 간 또는 군집 간의 거리(Distance) 또는 유사도(Similarity)를 측정하는 다양한 척도들이 그 기준이 됩니다.
유사성 측정의 중요성: 어떤 기준으로 묶을 것인가?
어떤 거리 또는 유사도 척도를 사용하느냐에 따라 군집 분석의 결과, 즉 형성되는 군집의 모양과 구성원이 크게 달라질 수 있습니다. 따라서 분석 대상 데이터의 특성(예: 연속형, 범주형, 이진형)과 분석 목적에 맞는 적절한 척도를 선택하는 것이 매우 중요합니다. 일반적으로 거리는 값이 작을수록 두 데이터 포인트가 유사하다는 것을 의미하고, 유사도는 값이 클수록 두 데이터 포인트가 유사하다는 것을 의미합니다.
거리 측정 방법 (Distance Measures) – 가까울수록 ‘우리 편’
주로 연속형 수치 데이터로 구성된 변수들 간의 거리를 측정하는 데 사용됩니다.
- 유클리드 거리 (Euclidean Distance):
- 정의: 두 데이터 포인트
p(p1, p2, ..., pn)와q(q1, q2, ..., qn)사이를 잇는 가장 짧은 직선 거리를 의미합니다. 우리가 일상적으로 생각하는 두 점 사이의 거리 개념과 가장 유사합니다. - 계산 방법 (개념적):
sqrt( Σ(pi - qi)² )(각 차원별 차이의 제곱합의 제곱근) - 특징: 가장 널리 사용되는 거리 척도이며, 이해하고 계산하기 쉽습니다. 데이터 공간을 직교 좌표계로 가정합니다.
- 고려사항: 각 변수의 측정 단위(스케일)에 민감하므로, 변수들의 단위가 다르거나 값의 범위 차이가 클 경우, 특정 변수의 영향력이 과도하게 커질 수 있습니다. 따라서 분석 전에 각 변수를 표준화(Standardization)하거나 정규화(Normalization)하는 전처리 과정이 필요할 수 있습니다.
- 정의: 두 데이터 포인트
- 맨하탄 거리 (Manhattan Distance / City Block Distance / L1 Norm):
- 정의: 두 데이터 포인트 사이를 이동할 때, 각 좌표축을 따라서만 이동할 수 있다고 가정했을 때의 최단 이동 거리의 합입니다. 마치 뉴욕 맨하탄의 격자형 도로망에서 한 지점에서 다른 지점까지 이동하는 경로의 길이와 같다고 해서 붙여진 이름입니다.
- 계산 방법 (개념적):
Σ |pi - qi|(각 차원별 차이의 절댓값의 합) - 특징: 유클리드 거리보다 계산이 간단하며, 변수 간의 상관관계를 덜 고려합니다. 이상치의 영향을 유클리드 거리보다 덜 받을 수 있습니다.
- 고려사항: 유클리드 거리와 마찬가지로 변수의 스케일에 민감합니다.
- 체비셰프 거리 (Chebyshev Distance / Maximum Value Distance / L∞ Norm):
- 정의: 두 데이터 포인트 사이의 각 좌표값 차이들 중에서 가장 큰 값을 두 점 사이의 거리로 정의합니다.
- 계산 방법 (개념적):
max( |pi - qi| ) - 특징: 특정 한 차원에서의 차이가 전체 거리를 결정합니다. 마치 체스판에서 킹(King)이 한 번에 이동할 수 있는 최소 횟수와 유사합니다.
- 고려사항: 다른 거리 척도들에 비해 덜 직관적일 수 있으며, 특정 상황에서만 유용하게 사용될 수 있습니다.
유사도 측정 방법 (Similarity Measures) – 닮을수록 ‘우리 편’
주로 이진 데이터, 범주형 데이터, 또는 텍스트 데이터와 같이 벡터 공간에서의 거리 개념을 직접 적용하기 어려운 경우에 유사성을 측정하는 데 사용됩니다.
- 자카드 유사도 (Jaccard Similarity / Jaccard Index):
- 정의: 두 집합 간의 유사성을 측정하는 지표로, 두 집합의 교집합(공통으로 포함하는 원소)의 크기를 두 집합의 합집합(모든 원소)의 크기로 나눈 값입니다. 0과 1 사이의 값을 가지며, 1에 가까울수록 두 집합이 유사함을 의미합니다.
- 계산 방법:
J(A, B) = |A ∩ B| / |A ∪ B| - 특징: 주로 이진 변수(0 또는 1)로 표현된 데이터셋 간의 유사도를 측정하는 데 많이 사용됩니다. (예: 특정 상품을 구매했는지 여부, 특정 단어가 문서에 포함되었는지 여부). 두 대상 모두에 존재하지 않는 경우는 고려하지 않습니다.
- 예시: 고객 A가 구매한 상품 집합과 고객 B가 구매한 상품 집합 간의 유사도 측정.
- 코사인 유사도 (Cosine Similarity):
- 정의: 두 데이터 포인트(또는 문서, 아이템 등)를 벡터로 표현했을 때, 이 두 벡터 간의 코사인 각도(cosine of the angle)를 이용하여 유사도를 측정하는 방법입니다. 두 벡터의 방향이 얼마나 유사한지에 초점을 맞추며, 벡터의 크기(길이)에는 영향을 받지 않습니다. -1에서 +1 사이의 값을 가지며(보통 0에서 1 사이로 사용), 1에 가까울수록 두 벡터의 방향이 유사함을 의미합니다.
- 계산 방법 (개념적): 두 벡터 A, B의 내적(Dot Product)을 각 벡터의 크기(Magnitude 또는 L2 Norm)의 곱으로 나눈 값.
Cosine(A, B) = (A · B) / (||A|| * ||B||) - 특징: 주로 텍스트 마이닝(문서 간 유사도 측정), 추천 시스템(사용자 간 또는 아이템 간 유사도 측정), 정보 검색 분야에서 널리 사용됩니다. 문서 내 단어의 등장 빈도(TF-IDF) 벡터 간의 유사도를 측정하는 데 효과적입니다.
- 예시: 두 뉴스 기사 내용의 유사도 측정, 사용자 A와 사용자 B의 영화 평점 패턴 유사도 측정.
척도에 따른 선택과 데이터 표준화의 중요성
어떤 거리/유사도 척도를 선택할지는 분석 대상 데이터의 변수 유형(연속형, 범주형, 이진형 등)과 측정 척도를 가장 먼저 고려해야 합니다. 연속형 수치 데이터에는 유클리드 거리나 맨하탄 거리 등이 주로 사용되고, 이진 데이터나 집합 데이터에는 자카드 유사도, 텍스트나 고차원 희소 데이터에는 코사인 유사도가 효과적일 수 있습니다.
또한, 유클리드 거리나 맨하탄 거리와 같이 값의 크기에 영향을 받는 거리 척도를 사용할 경우에는, 각 변수의 측정 단위나 값의 범위가 다르면 특정 변수가 거리에 과도한 영향을 미칠 수 있습니다. 예를 들어, 한 변수는 1~10 범위의 값을 갖고 다른 변수는 1000~10000 범위의 값을 갖는다면, 두 번째 변수의 차이가 전체 거리를 거의 결정하게 됩니다. 따라서 이러한 경우에는 군집 분석 전에 반드시 각 변수를 동일한 스케일로 변환하는 데이터 표준화(Standardization, 예: Z-점수 변환) 또는 정규화(Normalization, 예: 최소-최대 스케일링) 과정이 필요합니다.
주요 거리/유사도 측정 방법 요약
| 측정 방법 | 주요 정의 | 특징 | 주요 활용 분야/데이터 유형 |
| 유클리드 거리 | 두 점 사이의 직선 거리 | 가장 일반적, 직관적, 스케일 민감 | 연속형 수치 데이터, 공간적 거리 기반 군집 |
| 맨하탄 거리 | 각 좌표축을 따른 이동 거리의 합 | 계산 간단, 스케일 민감, 이상치 영향 유클리드보다 덜 받을 수 있음 | 연속형 수치 데이터, 격자형 이동 경로 유사 데이터 |
| 체비셰프 거리 | 각 좌표값 차이 중 가장 큰 값 | 특정 한 차원의 차이가 거리 결정 | 특정 상황(예: 체스판 이동)에서의 거리, 특정 차원 중요도 높을 때 |
| 자카드 유사도 | (두 집합의 교집합 크기) / (두 집합의 합집합 크기) | 이진 데이터/집합 간 유사도, 0-0 일치 무시 | 장바구니 분석, 문서 내 키워드 존재 여부 기반 유사도, 생물학적 유사도 |
| 코사인 유사도 | 두 벡터 간의 코사인 각도 (방향 유사성) | 벡터 크기 무관, 방향(패턴) 유사성 중시, 고차원 희소 데이터에 효과적 | 텍스트 마이닝(문서 유사도), 추천 시스템, 정보 검색 |
성공적인 군집 분석을 위한 핵심 고려사항 🎯💡⚙️
단순히 군집 분석 알고리즘을 실행하는 것을 넘어, 의미 있고 신뢰할 수 있는 군집 결과를 얻기 위해서는 몇 가지 중요한 사항들을 신중하게 고려해야 합니다.
적절한 군집 개수(K) 결정: 몇 개의 그룹으로 나눌 것인가?
K-평균 군집 분석과 같이 군집의 개수(K)를 미리 지정해야 하는 비계층적 군집 방법에서는, 최적의 K값을 찾는 것이 매우 중요합니다. K값이 너무 작으면 서로 다른 특성을 가진 그룹들이 하나의 군집으로 묶여 중요한 패턴을 놓칠 수 있고, K값이 너무 크면 하나의 의미 있는 그룹이 여러 개의 작은 군집으로 과도하게 나뉘어 해석이 어려워질 수 있습니다. 적절한 K값을 결정하는 데 도움이 되는 몇 가지 방법은 다음과 같습니다.
- 엘보우 방법 (Elbow Method): K값을 1부터 점차 늘려가면서 각 K값에 대한 군집 내 편차 제곱합(WCSS 또는 SSE)을 계산하여 그래프로 그립니다. WCSS는 K값이 증가함에 따라 일반적으로 감소하는데, 이 감소폭이 급격히 줄어드는 지점(마치 팔꿈치처럼 꺾이는 부분)을 최적의 K값으로 선택합니다. 하지만 팔꿈치 지점이 명확하지 않은 경우도 많습니다.
- 실루엣 계수 (Silhouette Coefficient): 각 데이터 포인트가 자신이 속한 군집 내의 다른 데이터들과 얼마나 유사하고, 동시에 다른 군집의 데이터들과는 얼마나 다른지를 측정하는 지표입니다. 실루엣 계수는 -1에서 +1 사이의 값을 가지며, +1에 가까울수록 해당 데이터 포인트가 자신의 군집에 잘 속해 있고 다른 군집과는 잘 분리되어 있음을 의미합니다. 모든 데이터 포인트의 평균 실루엣 계수가 가장 높아지는 K값을 선택하는 방법입니다.
- 갭 통계량 (Gap Statistic): 실제 데이터의 WCSS와, 데이터에 아무런 군집 구조가 없다고 가정한 무작위 데이터(참조 분포)로부터 얻은 WCSS를 비교하여, 그 차이(Gap)가 가장 커지는 K값을 최적으로 선택합니다. 다른 방법에 비해 통계적으로 더 정교한 접근 방식입니다.
- 도메인 지식 및 비즈니스 요구사항: 통계적인 지표 외에도, 해당 분야의 전문가 의견이나 실제 비즈니스에서 활용 가능한 군집의 개수 등을 고려하여 최종 K값을 결정하는 것이 중요합니다.
변수 선택 및 전처리: 어떤 기준으로 묶을 것인가?
군집 분석의 결과는 어떤 변수들을 사용하여 분석했는지에 따라 크게 달라집니다. 분석 목적과 관련이 없거나 노이즈가 많은 변수는 오히려 군집 형성을 방해하고 결과의 해석을 어렵게 만들 수 있습니다. 따라서 군집 분석 전에 분석 목적에 맞는 적절한 변수를 선택하고, 필요한 경우 데이터 스케일링(표준화 또는 정규화), 이상치 처리, 결측값 처리 등 적절한 데이터 전처리 과정을 거치는 것이 매우 중요합니다. 특히, 거리 기반 군집 방법에서는 변수들의 스케일 차이가 결과에 큰 영향을 미치므로 스케일링이 필수적일 수 있습니다.
결과 해석 및 검증: 찾아낸 그룹은 정말 의미 있는가?
군집 분석을 통해 여러 개의 군집이 도출되었다면, 다음으로 중요한 것은 각 군집이 어떤 특징을 가지고 있으며, 비즈니스적으로 어떤 의미를 갖는지 해석하는 것입니다.
- 군집 프로파일링: 각 군집별로 주요 변수들의 평균, 중앙값, 분포 등을 비교 분석하여 각 군집의 주요 특징을 기술합니다. (예: “1번 군집은 20대 여성이며, 온라인 구매 빈도가 높고, 패션 상품에 관심이 많다.”)
- 군집의 안정성 및 타당성 검토: 군집 분석 결과가 얼마나 안정적이고 신뢰할 만한지를 평가합니다. 예를 들어, 표본을 다르게 추출하거나 알고리즘의 초기값을 변경했을 때도 유사한 군집 결과가 나오는지(안정성), 또는 군집 결과가 외부의 다른 기준이나 알려진 사실과 부합하는지(타당성) 등을 검토할 수 있습니다.
- 도메인 지식 활용: 통계적인 결과만으로 군집을 해석하기보다는, 해당 분야의 전문가 의견을 참고하여 각 군집의 실제적인 의미와 활용 방안을 모색하는 것이 중요합니다.
이상치의 영향 고려
많은 군집 분석 알고리즘, 특히 K-평균 군집은 이상치(Outlier)에 민감하게 영향을 받을 수 있습니다. 이상치는 군집의 중심을 왜곡시키거나, 실제로는 하나의 군집인 것을 여러 개로 나누거나, 또는 독립적인 작은 군집을 형성할 수 있습니다. 따라서 군집 분석 전에 이상치를 탐지하고 적절히 처리(제거, 대체 등)하거나, 이상치에 덜 민감한 로버스트한 군집 방법(예: DBSCAN, K-중앙값 군집(K-Medoids))을 사용하는 것을 고려해야 합니다.
Product Owner는 고객 세분화 결과를 바탕으로 각 세그먼트의 니즈에 맞는 새로운 제품 기능을 기획하거나 맞춤형 마케팅 메시지를 전달할 수 있습니다. 데이터 분석가는 군집 분석을 통해 데이터의 숨겨진 구조를 파악하고, 이를 다른 예측 모델의 입력 변수로 활용하거나 이상 행동 패턴을 감지하는 데 사용할 수 있습니다. User Researcher는 사용자들을 유사한 행동이나 태도를 가진 그룹으로 묶어 각 그룹별 페르소나를 정의하고, 디자인 개선 방향을 설정하는 데 군집 분석 결과를 활용할 수 있습니다.
최신 동향: 대규모 데이터 및 복잡한 데이터 군집
최근에는 데이터의 양이 방대해지고 형태가 더욱 복잡해짐에 따라, 전통적인 군집 분석 방법의 한계를 극복하기 위한 새로운 기술들이 등장하고 있습니다. 예를 들어, 대규모 데이터를 효율적으로 처리하기 위한 분산 군집 알고리즘, 텍스트나 이미지와 같은 비정형 데이터를 위한 특화된 군집 방법(예: 토픽 모델링, 딥러닝 기반 군집), 여러 데이터 소스를 통합하여 군집하는 다중 뷰 군집(Multi-view Clustering) 등이 활발히 연구되고 활용되고 있습니다.
결론: 군집 분석, 데이터 속 숨겨진 보석을 캐는 탐험 🗺️💎✨
탐색적 데이터 분석의 강력한 도구
군집 분석은 정답이 없는 데이터 속에서 스스로 질서를 찾아내고, 우리가 미처 알지 못했던 의미 있는 그룹과 패턴을 발견하도록 돕는 강력한 탐색적 데이터 분석(Exploratory Data Analysis, EDA) 도구입니다. 이는 마치 미지의 세계를 탐험하며 숨겨진 보물을 찾아내는 과정과 같습니다. 때로는 예상치 못한 발견을 통해 기존의 가설을 뒤엎고 새로운 시각을 제시하기도 합니다.
새로운 통찰과 가치 발견의 시작
고객 세분화를 통한 초개인화 마케팅, 이상 거래 탐지를 통한 금융 사기 예방, 유전자 분석을 통한 질병 치료법 개발 등 군집 분석은 이미 다양한 분야에서 실질적인 가치를 창출하고 있습니다. 중요한 것은 단순히 군집을 나누는 것에 그치지 않고, 그 결과를 바탕으로 ‘왜 이런 그룹이 형성되었을까?’, ‘이 그룹은 어떤 특징을 가지고 있을까?’, ‘이 발견을 어떻게 활용할 수 있을까?’라는 질문을 던지고 구체적인 행동으로 연결하는 것입니다.
계층적 군집, K-평균 군집, 그리고 다양한 거리/유사도 측정 방법 등 오늘 살펴본 군집 분석의 세계는 매우 넓고 깊습니다. 이 강력한 분석 도구를 올바르게 이해하고 현명하게 활용하여, 여러분의 데이터 속에서 숨겨진 보석과 같은 통찰을 발견하고 새로운 가치를 창출해나가시기를 응원합니다!