로그인 바로가기 하위 메뉴 바로가기 본문 바로가기

영상이해를 위한 최적화 기법

임시 이미지 KAIST 전기및전자공학부 김창익 교수
http://kooc.kaist.ac.kr/optimization2017/forum/24757
좋아요 391 수강생 2962

Slide 22 page에  f(x) = 6x1x2 s.t. g(x) = 3x1+4x2=18 을 푸는 문제가 있습니다. 

이 경우 equality constraints이므로 앞서 Lagrangian multiplier로 문제를 풀면, 

L(x,u) = f(x) + ug(x) = 6x1x2+u(3x1+4x2-18)로 표현한 후 x1, x2, u에 대해 각각 편미분을 해주어 u를 구하게 되는데요. 결과적으로 슬라이드에도 적혀있듯이 u가 -4.5라는 음수 값을 갖습니다. 

이 때, 앞서 dual 문제 관점에서는 u가 0보다 크거나 같은 양수라는 제약이 있는 상태로 문제를 푸는데 이 부분과 일단 상충하는 것이 아닌가 하고 헷갈립니다. (질문1)

앞선 의문을 일단 Equality constraint 문제이므로 상관이 없다고 생각하고  넘어가면, 앞서 Lagrangian multiplier로 문제를 풀던 것을 따라서 해당 점에서의 Hessian matrix를 구해 positivie definite인지 check를 해보는데요. 계산을 해보면 H= [0 6 ; 6 0]으로 u값과는 상관없이 eigenvalue가 각각 6과 -6이 나오게 됩니다. 이 경우 최소점도 최저점도 아니게 되는데 이 부분을 optimal point라고 할 수 있는 것인가요? (질문2)

위와는 별개로 애초에 dual problem에서 u>=0이라는 제약은 어떤 식으로 primal problem으로부터 도출되는 것인지 잘 모르겠습니다. 그리고 u가 벡터인데 벡터가 0보다 크거나 같다는 것은 어떤 것을 말하는 것인가요? (질문3) 

그리고 Dual function is a concave function을 증명하는 것에 슬라이드에서는 u1과 u2가 0보다 큰 양수임을 가정하고 있는데요. 이 가정이 꼭 필요한 것인가요? 혹은 그저 앞서 Dual problem의 제약 조건을 그대로 들고 왔을 뿐인가요? 굳이 이 것이 없어도 아무 문제 없이 증명이 되는 것 같아서 그렇습니다. (질문4) (사족 질문: 질문3과 연관되어 지금 여기서 u1과 u2를 들어 증명하는 것은 각각을 벡터가 아니라 1d variable이라 생각하고 진행한 것일까요? ) 

 제가 어떤 부분에서 잘못 이해하고 있는지 짚어주시면 감사하겠습니다. 혹시 f가 convex 함수가 아니라서 이런 것인가요?