Deep Learning study
Lipschitz function, Lipschitz constant(립시츠 함수, 립시츠 상수) 본문
Lipschitz function, Lipschitz constant(립시츠 함수, 립시츠 상수)
HwaniL.choi 2019. 9. 8. 16:45오늘은 립시츠 함수와 립시츠 상수에대해서 알아보도록 합시다.
Lipschitz (continuous) function
$$ Let \ a \ function \ f : [a,b] \rightarrow \mathbb{R} \ s.t. \ for \ some\ constant\ \mathbb{M}\ and\ for\ all\ \mathbb{x,y} \in\ [a,b] ,\\ \mid f(x) - f(y) \mid \le M\mid x-y \mid \qquad - (1). \\ Then \ the \ function \ f \ is \ called \ Lipschits\ on \ [a,b], \ and \ one \ writes \ f \ \in Lip([a,b]). $$
굳이 번역해서 쓰자면 ,어떠한 함수 f : [a,b] → R 가 어떠한 상수 M 과 [a,b]에 속하는 모든 x,y에 대해서 (1)번 식을 만족한다면 립시츠 함수라고 하겠다 ! 라는 말입니다.
(1)식 그대로 말하자면 두 점 사이의 거리를 일정 비 이상으로 증가시키지 않는 함수입니다. 조금 더 쉽게 다가가기위해 (1)의 우변에서 M 만남기게 되면, 좌변이 기울기의 절댓값을 구하는 것과 같게 됩니다. 따라서 f의 미분계수가 M을 넘어가지 않는다는 것으로 해석할수있게됩니다.
(이 의미를 생각하다보면 Uniform continuity 가 생각나는데, 맞습니다. 립시츠 연속은 균등연속의 강력한 형태입니다. )
Lipschitz constant
$$ For \ functions \ f:[a,b] \rightarrow \mathbb{R}, it \ denotes \ the \ smallest \ constant \ \mathbb{M} > 0 \ in \ the \ Lipschitz \ condition \ , \\ namely \ the \ nonnegative\ number \\ $$
$$\sup_{x \ne y} {{\mid f(y)-f(x) \mid} \over {\mid y - x \mid}} . \qquad - (2)\\ $$
$$ If \ the \ domain \ of \ f \ is \ an \ interval \ , the \ function \ is \ everywhere \ differentiable \ and \ the \ derivative \ is \ bounded, \\ \ then \ it \ is \ easy \ to \ see \ that \ the \ Lipschitz \ constant \ of \ f \ equals \\ $$
$$ \sup_{x} \mid f'(x) \mid . \qquad - (3) $$
립시츠 상수는 (2)번 식을 만족하는 nonnegative number 입니다. 위의 (1)번 식에서 M에 해당하는 것 이지만, 특별하게도 (1)을 만족하는 M들중에서 가장 작은 M을 말하는 것이죠.
그리고 f의 domain이 어떤 구간이고, 모든곳에서 미분가능이며, 미분계수가 bounded되어있다면 (3)번 식 처럼 표현되는건 쉽게 생각할 수 있겠죠?
오늘은 립시츠 함수와 상수에대해서 알아보았습니다. 사실 uniform continuity를 먼저 정리하고 이것을 할까 고민도 했었는데 너무 깊게 가다보면 끝이 없기에 간단하게 필요한 것들만 정리만 했습니다.
그럼 이만 !!!!!!!!
Reference
[1] https://en.wikipedia.org/wiki/Lipschitz_continuity
[2] http://mathworld.wolfram.com/LipschitzFunction.htmlhttps://www.encyclopediaofmath.org/index.php/Lipschitz_function
[3] https://www.encyclopediaofmath.org/index.php/Lipschitz_constant
'AI > Deep learning 을 위한 지식' 카테고리의 다른 글
베이즈 정리(Bayes theorem)와 최대 우도 추정 (Maximum likelihood estimation, MLE) (0) | 2020.04.12 |
---|---|
Vector norm, matrix norm (벡터 노름, 행렬 노름) (4) | 2019.08.31 |
Singular value decomposition(SVD, 특이값 분해) (0) | 2019.08.28 |
Eigen value 와 Eigen vector, Eigen decomposition( 고유 값과 고유 벡터, 고유값 분해 ) (4) | 2019.08.25 |
Regularization과 Normalization (4) | 2019.08.24 |