히비스서커스의 블로그

정규화 방법으로 알려진 lasso에도 여러가지 방법이 존재한다. 그 중 lasso, group lasso, sparse group lasso 순으로 하나씩 살펴보자. lasso 일반적인 선형회귀식의 최소제곱법을 나타내보자. 샘플 수가 $n$, feature 수가 $p$일 때, response vector의 크기는 $n$ x $1$이고 feature들의 matrix는 $n$ x $p$, 회귀계수 벡터 $\beta$는 $p$ x $1$이 되어 다음과 같은 식으로 표기될 것이다. 이상적인 경우는 샘플 수 n이 feature 수 p 보다 충분히 큰 경우이다. 하지만 생물학 데이터의 경우는 p가 n보다 훨씬 더 큰 경우가 많아서 매우 곤란한 상황이 생긴다. 바로 차원의 저주(Curse of Dimensionali..