Linear Algebra + (Cov ;공분산, Cor ; 상관계수)

titanic 데이터에 대한 상관계수를 표현한 heatmap

• heatmap을 통해 확인할 수 있는 데이터 간의 관계는 무엇인가?
  titanic data안에 있는 칼럼(feature) 별로 양/음/무 상관관계에 대해서 알 수 있다.
  예를 들어 'survived'와 'adult_male'의 상관계수는 -0.56
  단순하게 이 수치만 놓고 보면 '생존 여부와 성인 어른 여부가 음의 상관관계' 즉, 성인 남성이 더 생존율이 낮았다는 이야기
  여기서 한 번 더 해석하면 성인 남성들이 다른 사람들의 생존을 돕다가 희생됐다 는 등의 해석이 가능

• 공분산과 상관계수의 수식을 확인하고 그 둘의 연관성 및 차이점

연관성(공통점) : 공분산과 상관계수 모두 특정 벡터(혹은 칼럼, 열, 카테고리 등)에 대해 그 두개의 값이 어느 정도로 양 또는 음의 관계를 갖고 있는지를 비교하는 지표이다.

차이점 : 식을 보면 알겠지만 상관계수는 공분산을 표준화한 것, 좀 더 정확히 표현하면 각 변수를 표준화한 후 두 변수의 관계를 확인

표준화하는 이유는 단위에 따라(변수의 scale에 따라) 공분산 값이 크게 나오는 게 가능하기 때문이다. 즉, 그냥 숫자가 클수록 공분산 값이 커지고 그러면 우리는 2개의 공분산을 비교했을 때, 단순하게 더 숫자가 큰 값을 보고 '아, 얘가 더 관계성이 크네'라고 판단할 수 있기 때문. 그렇기에 변수들마다 갖고 있는 단위 즉, scale을 맞춰주어 -1과 1 사이의 값으로 기준을 맞춰준 값이 상관계수

---

• 상관관계와 인과관계의 차이점사실 정확하게 비교해봐야겠지만 상식선에서 예시를 통해 생각해보면

인과관계 : '기온이 오른다.' -> '아이스크림 판매량이 증가한다.' # 사실 이것도 정확하진않지만 상식선에서 인과관계라고 친다.
상관관계 : '아이스크림 판매량이 증가한다.' -> '익사하는 사망자 수가 증가한다.' # 이 둘은 아이스크림을 많이 판다고 익사하는 사망자 수가 증가하진 않음(인과성은 없다.) 다만 이 둘의 상관관계가 높은 이유는 중간에 '여름이 온다', '기온이 증가한다.', '개장하는 해수욕장 수가 증가한다.' 등 이 둘의 상관관계를 설명하는 변수들이 있기 때문..!
다시 말해, 위의 타이타닉 예시도 '상관계수'이기 때문에 변수끼리의 '인과성'은 따로 증명할 필요가 있다.

추가

import numpy as np

np.cov(s1, s2) # numpy를 이용한 공분산 구하기 cf)여기서 ddof는 0과 1 중 모집단이냐 표본집단이냐로 조절

np.corrcoef(s1, s2) # numpy를 이용한 상관계수 구하기 

# 두 값 모두 위의 heatmap처럼 대칭행렬 꼴로 값이 나온다. 함수가 자기 자신하고도 비교하게 끔 되어있어서 그렇다.(당황ㄴㄴ)