[심화] 17. 성능 평가 목표 및 필요기술

성능평가란?

이해관계자가 AIoT 제품 및 서비스에 탑재된 인공지능을 포함한 솔루션의 성능을 평가하는 단계

성능 평가 목표

AIoT프로세스와 성능 평가

앞서 배포한 사물지능의 성능을 평가하는 단계

성능평가를 해야하는 이유

제품작으로서 혹은 테스트작으로서 그 의미를 확실하게 하기 위해서

성능평가 목표와 ITO

성능평가필요기술

솔루션 검증

솔루션이 비즈니스 요구를 충족하는지 검증하고 식별된 결함들에 대해 가장 적절한 대응을 결정하는 것 

• 솔루션이 지속적으로 비즈니스 요구를 충족하도록 하는데 필수적
• 이를 통해 식별된 문제는 프로젝트 팀이 가장 적절한 조치를 취할 수 있도록 지원

결점이 있는 솔루션 결과물 조사

솔루션 결과물이 수용가능한 수준의 품질이 범위 내에 있는 지를 조사하는 것

• 솔루션이나 솔루션 컴포넌트 내에 있는 결정들을 식별
• 고려 대상에 결점이 있다면 결점이 있는 결과물이라 정의

결점 및 이슈 평가

식별된 결정들이 조직운영의 미치게 될 영향으 ㄹ평가하기 위해 반드시 검토

• 반드시 해결되어야 하는 결점은 무엇인가
• 어떤 결점이 대안적인 작업과 다른 어프로치를 통해 와놔되거나 해결될 수 있는지
• 결점의 중요도/결점의 발생 가능성/비즈니스 영향의 중요도/결정 수용가능 비즈니스 능력

성능평가

개선 기회를 산출하고 식별하는 가치를 이해하기 위해 작동하는 솔루션을 평가하는 것

• 솔루션 평가는 솔루션이 실행 환경에 배치된 이후 실제 어떻게 사용되는지를 조사하고 솔루션이 가지고 있는 긍정적이거나 부정적인 영향 모두를 측정하는 활동
• 개발된 인공지능 모델의 성능 평가는 목표치 대비 모델 자체의 성능을 평가

솔루션에 의해 산출되는 가치 이해

솔루션 성능을 기술하는 실제 측정 기준들을 수집

• 만약 저조한 성능에 대한 근본 원인이 잠재적으로 기업의 통제 하에 있는 요소들인 경우 이를 검토하는 것이 비즈니스 요구
• 상당한 초과적 성능은 솔루션 구현에 이미 사용된 자원이 다른 곳에 사용될 수도 있었다는 것을 의미하거나 솔루션의 가치가 저평가되었다는 것

솔루션 측정 기준 검증

어떤 경우에는 솔루션 매우 훌륭한 것으로 고려될지라도 그러한 측정 기준들이 비즈니스 목적과 목표에 대해서는 충족되지 못한 것일 수도 있음

• 측정 기준에 대한 수집과 보고를 위해 솔루션의 수정을 포함하는 더 적절한 측정 기준을 식별하고 정의하기 위한 분석 작업이 필요

솔루션 성능 평가 결과

비즈니스 목적과 목표에 관련하여 솔루션이 어떻게 운영되고 있는지와 성능 지표와 비교한 측정 결과를 모두 기술

• 성능 평가 보고서