Deep Learning study

Lipschitz function, Lipschitz constant(립시츠 함수, 립시츠 상수) 본문

AI/Deep learning 을 위한 지식

Lipschitz function, Lipschitz constant(립시츠 함수, 립시츠 상수)

HwaniL.choi 2019. 9. 8. 16:45
반응형

오늘은 립시츠 함수와 립시츠 상수에대해서 알아보도록 합시다.

 

Lipschitz (continuous) function

 

$$ Let \ a \ function \ f : [a,b] \rightarrow \mathbb{R} \ s.t. \ for \  some\  constant\  \mathbb{M}\  and\  for\  all\  \mathbb{x,y} \in\  [a,b] ,\\ \mid f(x) - f(y) \mid \le M\mid x-y \mid \qquad - (1). \\ Then \ the \ function \ f \ is \ called \ Lipschits\ on \ [a,b], \ and \ one \ writes \ f \ \in Lip([a,b]). $$

 

굳이 번역해서 쓰자면 ,어떠한 함수 f : [a,b] → R 가 어떠한 상수 M 과 [a,b]에 속하는 모든 x,y에 대해서 (1)번 식을 만족한다면 립시츠 함수라고 하겠다 ! 라는 말입니다.

 

 (1)식 그대로 말하자면 두 점 사이의 거리를 일정 비 이상으로 증가시키지 않는 함수입니다. 조금 더 쉽게 다가가기위해 (1)의 우변에서 M 만남기게 되면, 좌변이 기울기의 절댓값을 구하는 것과 같게 됩니다. 따라서 f의 미분계수가 M을 넘어가지 않는다는 것으로 해석할수있게됩니다.

 

(이 의미를 생각하다보면 Uniform continuity 가 생각나는데, 맞습니다. 립시츠 연속은 균등연속의 강력한 형태입니다. )

 

 

Lipschitz constant

 

$$ For \ functions \ f:[a,b] \rightarrow \mathbb{R}, it \ denotes \ the \ smallest \ constant \ \mathbb{M} > 0 \ in \ the \ Lipschitz \ condition \ , \\ namely \ the \ nonnegative\ number \\ $$

$$\sup_{x \ne y} {{\mid f(y)-f(x) \mid} \over {\mid y - x \mid}} . \qquad - (2)\\ $$

 

$$ If \ the \ domain \ of \ f \ is \ an \  interval \ , the \ function \ is \ everywhere \ differentiable \ and \ the \ derivative \ is \ bounded, \\ \  then \ it \ is \ easy \ to \ see \ that \ the \ Lipschitz \ constant \ of \ f \ equals \\ $$

$$ \sup_{x} \mid f'(x) \mid . \qquad - (3) $$

 

립시츠 상수는 (2)번 식을 만족하는 nonnegative number 입니다. 위의 (1)번 식에서 M에 해당하는 것 이지만, 특별하게도 (1)을 만족하는 M들중에서 가장 작은 M을 말하는 것이죠.

그리고 f의 domain이 어떤 구간이고, 모든곳에서 미분가능이며, 미분계수가 bounded되어있다면 (3)번 식 처럼 표현되는건 쉽게 생각할 수 있겠죠?

 

 

 

 

 

오늘은 립시츠 함수와 상수에대해서 알아보았습니다. 사실 uniform continuity를 먼저 정리하고 이것을 할까 고민도 했었는데 너무 깊게 가다보면 끝이 없기에 간단하게 필요한 것들만 정리만 했습니다.

 

그럼 이만 !!!!!!!!

 

Reference

[1] https://en.wikipedia.org/wiki/Lipschitz_continuity

[2] http://mathworld.wolfram.com/LipschitzFunction.htmlhttps://www.encyclopediaofmath.org/index.php/Lipschitz_function

[3] https://www.encyclopediaofmath.org/index.php/Lipschitz_constant

반응형
Comments