분류성능평가지표 - Precision(정밀도), Recall(재현율) and Accuracy(정확도)
기계학습에서 모델이나 패턴의 분류 성능 평가에 사용되는 지표들을 다루겠습니다. 어느 모델이든 간에 발전을 위한 feedback은 현재 모델의 performance를 올바르게 평가하는 것에서부터 시작합니다. 모델이 평가해야하는 요소와 그 것을 수치화한 지표들, 그리고 관련 개념들에 대해서 다루도록 하겠습니다.
모델의 분류와 정답
모델을 평가하는 요소는 결국, 모델이 내놓은 답과 실제 정답의 관계로써 정의를 내릴 기술 지표 및 도구 수 있습니다. 정답이 True와 False로 나누어져있고, 분류 모델 또한 True False의 답을 내놓 습니다. 그렇게 하면, 아래와 같이 2x2 matrix로 case를 나누어볼 수 있겠네요.
이제 각 case별로 살펴보겠습니다.
- True Positive(TP) : 실제 True인 정답을 True라고 예측 (정답)
- False Positive(FP) : 실제 False인 정답을 True라고 예측 (오답)
- False Negative(FN) : 실제 True인 정답을 False라고 예측 (오답)
- True 기술 지표 및 도구 Negative(TN) : 실제 False인 정답을 False라고 예측 (정답)
이러한 case별로 우리의 분류 모델의 성능을 어떻게 평가할 수 있을까요?
1. Precision, Recall and Accuracy
Precision, Recall, Accuracy는 논문에서도 사용하는 지표들이며 가장 눈에 익는 지표들입 니 다. 하지만 서로 헷갈리는 경우가 많으니, 제대로 정리할 필요가 있겠 습니 다. 우리는 모델이 예측한 다양한 경우를 생각해보며, 위의 2x2 matrix에 해당하는 것을 어떻게 지표화 할 기술 지표 및 도구 것인지 고민해보겠습니다. 지표를 고민함과 동시에 실제 사례를 들어서 해당 지표를 왜 써야하는지도 함께 생각해보고자 합니다. 여기서는 한달 동안의 날씨를 예측하는 상황을 생각해보겠습니다. 날씨는 비가 오거나 맑거나 두 가지만 존재한다고 가정합니다.
1.1 Precision(정밀도)
정밀도란 모델이 True라고 분류한 것 중에서 실제 True인 것의 비율입니다. 즉, 아래와 같은 식으로 표현할 수 있습니다.
Positive 정답률, PPV(Positive Predictive Value)라고도 불립니다. 날씨 예측 모델이 맑다로 예측했는데, 실제 날씨가 맑았는지를 살펴보는 지표라고 할 수 있겠습니다.
1.2 Recall(재현율)
재현율이란 실제 True인 것 중에서 모델이 True라고 예측한 것의 비율입니다.
통계학에서는 sensitivity으로, 그리고 다른 분야에서는 hit rate라는 용어로도 사용합니다. 실제 날씨가 맑은 날 중에서 모델이 맑다고 예측한 비율을 나타낸 지표인데, 정밀도(Precision)와 True Positive의 경우를 다르게 바라보는 것입니다. 즉, Precision이나 Recall은 모두 실제 True인 정답을 모델이 True라고 예측한 경우에 관심이 있으나, 바라보고자 하는 관점만 다릅니다. Precision은 모델의 입장에서, 그리고 Recall은 실제 정답(data)의 입장에서 정답을 정답이라고 맞춘 경우를 바라보고 있습니다. 다음의 경우를 생각해보겠습니다.
"어떤 요소에 의해, 확실히 맑은 날을 예측할 수 있다면 해당하는 날에만 맑은 날이라고 예측하면 되겠다."
이 경우에는 확실하지 않은 날에는 아에 예측을 하지 않고 보류하여 FP의 경우의 수를 줄여, Precision을 극도로 끌어올리는 일종의 편법입니다. 예를 들어 한달 30일 동안 맑은 날이 20일이었는데, 확실한 2일만 맑다고 예측한다면, 당연히 맑다고 한 날 중에 실제 맑은 날(Precision)은 100%가 나오게 됩니다. 하지만 과연, 이러한 모델이 이상적인 모델일까요?
따라서, 우리는 실제 맑은 20일 중에서 예측한 맑은 날의 수도 고려해 보아야합니다. 이 경우에는 Precision만큼 높은 결과가 나오지 않습니다. Precision과 함께 Recall을 함께 고려하면 실제 맑은 날들(즉, 분류의 대상이 되는 정의역, 실제 data)의 입장에서 우리의 모델이 맑다고 예측한 비율을 함께 고려하게 되어 제대로 평가할 수 있습니다. Precision과 Recall은 상호보완적으로 사용할 수 있으며, 두 지표가 모두 높을 수록 좋은 모델입니다.
1.3 Precision-Recall Trade-off
1. 3. 1 with Type 1, 2 error
이 table과 위 matrix는 같은 개념을 다르게 표현한 것 뿐입니다. 가설 검정에서도 Type 1 error와 Type 2 error는 서로 trade off 관계에 있다고 배웠습니다. 여기서 다시 짚고 넘어가보죠.
이 정의에 따라 Type 1, 2 error를 그림으로 살펴봅시다.
Image Source: https://stats.stackexchange.com/questions/211736/type-i-error-and-type-ii-error-trade-off
가설 검정 시에 어떤 상황에서 어떤 가설을 받아들일지의 기준이 필요합니다. 그래서, 그 기준으로써 critical region을 잡게 되는데 Type 1 error는 H0가 true일 때, reject H0일 확률, 즉, 미리 설정해둔 critical region의 표본을 뽑을 확률입니다. 위의 그림에서 Any mean이 기준점이고 H0 관점에서 빨간색 영역이 기각역이라고 볼 수 있습니다. 그리고 이 기각역에 따라 Type 2 error도 정해집니다. 그림으로 보다시피 Any mean을 좌우로 조정하게되면 Type 1, 2 error의 크기가 변합니다. 하지만 둘다 커지거나 둘다 작아지는 경우가 없는 trade-off관계입니다.
다시 본론으로 돌아와서, Precision과 Recall은 TP를 분자로써 같이하고 분모에는 TP에 Type 1, 2 error에 해당하는 FN, FP를 더하여 계산합니다. 이때, FN, FP는 각각 Type 1, 2 error에 있으므로 Precision과 Recall 또한 trade-off 관계에 있다고 할 수 있습니다.
1. 3.2 with Venn-diagram
A는 실제 날씨가 맑은 날입니다. 그리고 B는 모델에서 날씨가 맑은 날이라고 예측한 것입니다. 이때 b의 영역은 TP로 실제 맑은 날씨를 모델이 맑다고 제대로 예측한 영역입니다. 이러한 영역 상에서 Precision과 Recall은 다음과 같습니다.
모델의 입장에서 모두 맑은 날이라고만 예측하는 경우를 생각해봅시다. 그렇게 되면 TN(d)의 영역이 줄어들게 되고 그에 따라 FN(a)의 영역 또한 줄게 됩니다. 그러므로 Recall은 분모의 일부인 FN(a)영역이 줄기 때문에 Recall은 100%가 됩니다. 즉, 여기서 A⊂B인 관계를 형성합니다. 하지만, 주의할 것은 단순히 a의 영역만 줄어드는 것이 아니라 d의 영역과 a의 영역이 모두 c로 흡수된다는 것입니다. Precision의 경우에는 기존보다 FP(c)의 영역이 커져 Precision은 줄게 됩니다. 이해가 안된다면 다음 표로 이해해보겠습니다.
General Case에서 Recall은 20 / 50 = 40%, Precision = 20 / 60 = 33.3% 입니다. 그리고 분류모델이 모두 True라고 예측한 오른쪽의 case에서의 recall은 FN = 0이므로 100%이지만 그에 따라 FP가 늘어서 precision은 20/100 = 20%가 되었습니다. 이처럼 precision과 recall은 모두 높은 것이 좋지만, trade-off 관계에 있어서 함께 늘리기가 힘듭니다.
1.4 Accuracy(정확도)
이제는 또 관점을 다르게 생각해봅시다. 사고의 확장이 빠른 사람들은 예상했겠지만, 위 두 지표는 모두 True를 True라고 옳게 예측한 경우에 대해서만 다루었 습니 다. 하지만, False를 False라고 예측한 경우도 옳은 경우입니다. 이때, 해당 경우를 고려하는 지표가 바로 정확도(Accuracy) 입니 다. 식으로는 다음과 같이 나타냅니다.
정확도는 가장 직관적으로 모델의 성능을 나타낼 수 있는 평가 지표입니다. 하지만, 여기서 고려해야하는 것이 있습니다. 바로 domain의 편중(bias)입니다. 만약 우리가 예측하고자 하는 한달 동안이 특정 기후에 부합하여 비오는 날이 흔치 않다고 생각해보죠. 이 경우에는 해당 data의 domain이 불균형하게되므로 맑은 기술 지표 및 도구 것을 예측하는 성능은 높지만, 비가 오는 것을 예측하는 성능은 매우 낮을 수 밖에 없습니다. 따라서 이를 보완할 지표가 필요합니다.
1.5 F1 score
1.5.1 F1 score
F1 score는 Precision과 Recall의 조화평균입니다.
F1 score는 데이터 label이 불균형 구조일 때, 모델의 성능을 정확하게 평가할 수 있으며, 성능을 하나의 숫자로 표현할 수 있습니다. 여기서 단순 산술평균으로 사용하지 않는 이유는 무엇일까요? 우리가 평균 속력을 구할 때, 이 조화평균의 개념을 사용해 본 경험이 있을 것입니다. 조화평균의 본질에 대해 이해해보겠습니다.
1.5.2 조화평균의 기하학적 접근
조화평균은 기하학적으로 다음과 같이 표현할 수 있 습니 다. 서로 다른 길이의 A, B와 이 두 길이의 합만큼 떨어진 변(AB)으로 이루어진 사다리꼴을 생각해봅시다. 이 AB에서 각 변의 길이가 만나는 지점으로부터 맞은 편의 사다리꼴의 변으로 내린 선분이 바로 조화평균을 나타냅니다.
기하학적으로 봤을 때, 단순 평균이라기보다는 작은 길이 쪽으로 치우치게 된, 그러면서 작은 쪽과 큰 쪽의 사이의 값을 가진 평균이 도출됩니다. 이렇게 조화평균을 이용하면 산술평균을 이용하는 것보다, 큰 비중이 끼치는 bias가 줄어든다고 볼 수 있습니다. 즉, F1-score는 아래와 같이 생각할 수 있습니다.
2. 그 외 다른 지표들
이 외에도 모델의 성능을 측정하는 다양한 지표들이 존재합니다. 다음을 살펴봅시다.
2.1 Fall-out
Fall-ou t은 FPR(False Positive Rate)으로도 불리며, 실제 False인 data 중에서 모델이 True라고 예측한 비율입니 다. 즉, 모델이 실제 false data인데 True라고 잘못 예측(분류)한 것으로 다음과 같이 표현할 수 있 습니 다.
2.1 ROC(Receiver Operating Characteristic) 기술 지표 및 도구 curve
여러 임계값들을 기준으로 Recall-Fallout의 변화를 시각화한 것입니다. Fallout은 실제 False인 data 중에서 모델이 True로 분류한, 그리고 Recall은 실제 True인 data 기술 지표 및 도구 중에서 모델이 True로 분류한 비율을 나타낸 지표로써, 이 두 지표를 각각 x, y의 축으로 놓고 그려지는 그래프를 해석합니다. 아래 예시를 보죠.
Image Source: https://www.medcalc.org/manual/roc-curves.php
curve가 왼쪽 위 모서리에 가까울수록 모델의 성능이 좋다고 평가합니다. 즉, Recall이 크고 Fall-out이 작은 모형이 좋은 모형인 것입니다. 또한 y=x 그래프보다 상단에 위치해야 어느정도 성능이 있다고 말할 수 있습니다.
2.2 AUC(Area Under Curve)
ROC curve는 그래프이기 때문에 명확한 수치로써 비교하기가 어렵 습니 다. 따라서 그래프 아래의 면적값을 이용합니다. 이것이 바로 AUC(Area Under Curve) 입니다. 최대값은 1이며 좋은 모델(즉, Fall-out에 비해 Recall 값이 클수록) 1에 가까운 값이 나옵니다.
비아이매트릭스, K-ESG 평가지표 기반 경영성과 관리 플랫폼 개발
비아이매트릭스(대표 배영근)가 산업통상자원부가 기획하여 한국산업기술평가관리원에서 관리하는 산업통상자원부의 2022년도 지식서비스산업기술개발사업에서 ‘전통산업에서의 ESG 기반 경영성과 관리와 생산 프로세스 최적화 서비스 기술개발(과제번호:20018758)’ 사업자로 선정됐다고 16일 밝혔다.
비아이매트릭스는 지난 달 19일 협약을 완료하고, ESG 경영을 위한 ‘K-ESG 평가지표 기반의 경영성과 관리 플랫폼’ 개발을 본격화한다.
지식서비스산업기술개발사업은 산업통상자원부의 대표 서비스 R&D 사업이다. 지식서비스 산업 분야 핵심기술 개발을 지원하여 제조업 등 기존 산업을 고도화하고 신규 서비스 산업을 창출하는 것을 목적으로 한다.
2009년부터 2021년까지 약 4,287억 원, 310여 개 과제를 지원했으며, 2022년에는 85개 과제를 선정하여 총 615억 원을 지원한다.
비아이매트릭스
비아이매트릭스는 ‘지식서비스산업 핵심기술개발 – 제조 서비스 융합기술개발 사업’의 일환으로 기획된 ‘전통산업에서의 ESG 기반 경영성과관리와 생산 프로세스 최적화 서비스 기술개발’ 과제 개발을 담당한다.
2022년 4월부터 2년 9개월의 연구 기간 동안 총 연구개발비는 31억 7천624만 원으로, 이 중 정부가 24억 5500백만 원을 출연하고 나머지는 민간에서 부담한다.
비아이매트릭스가 사업의 주관을 맡았으며, 프로세스 마이닝 전문 기술을 보유하고 있고 ESG 관련 연구 경험을 보유하고 있는 IC&IT, 세종대학교 산학협력단 2곳의 기관이 본 프로젝트에 참여하게 된다.
본 과제의 주요 내용은 ▲EU에서 먼저 자리 잡은 글로벌 ESG 지표 등을 분석하고, 산업통상자원부에서 공시한 중소‧중견 기업용 K-ESG 가이드라인을 기반으로 K-ESG 경영 성과목표 및 핵심 성과지표 분석 자동화 서비스를 구축하고 ▲프로세스 마이닝 기술을 활용하여 생산 공정 리소스 및 추가 속성정보(설비, 작업자, 탄소 배출량 등)를 활용한 심화 생산 프로세스 분석 및 성과측정 서비스 플랫폼을 개발하는 것이다.
본 과제에서 개발하는 서비스 플랫폼의 핵심 기술인 ‘ESG 스코어링 기반의 경영관리도구’와 ‘생산 프로세스 성과측정 서비스’에는 각각 딥러닝과 프로세스 마이닝 기술이 적용된다. 또한 사용자 화면 개발에 필요한 코딩 작업의 80% 이상을 자동화하는 비아이매트릭스의 로우코드 기술인 ▲DB봇(DB데이터 처리를 위한 SQL 코딩 자동화) ▲UI봇(웹 UI 개발을 위한 HTML5 화면 개발 자동화) ▲Process봇(이벤트 설정 및 프로세스 적용을 위한 JAVA 프로그래밍 자동화)을 적용하여 개발 생산성을 극대화할 예정이다.
해당 서비스 플랫폼 개발이 완성이 되면, 전통산업에서 ESG를 포함한 경영성과 관리 및 탄소중립을 지원하는 생산 프로세스 최적화 서비스가 가능할 것으로 기대된다. 중소‧중견 기업에서도 ESG 평가 지표를 체계적으로 관리할 수 있으며, ESG 리포트를 실시간으로 제출할 수 있어 투명하고 공정성 있는 ESG 지표 관리가 가능해진다.
또한 기존의 대기업을 비롯한 일부 코스피 상장사에 국한되어 관리되는 지속가능보고서와 같은 ESG 평가 보고서에 대한 효율적인 운영이 가능할 것으로 예상된다.
-
2022.06.07 2022.05.31 2022.03.30 2022.01.19
비아이매트릭스의 연구 총괄책임자인 황선민 전무이사는 "향후 2030년도까지 코스피 상장사 전체의 ESG 공시 의무화를 앞두고 있으며, 금융위원회에서는 공시제도의 개선방향을 공개하였으나, 늘어나고 있는 ESG 인증기관의 보고서를 비교하여 조사해 보면 각 기관의 인증 기준에 따라 서로 상이한 결과를 보이고 있다”면서 이와 더불어, 본 과제를 통하여 "신뢰할 수 있는 수준의 ESG 가이드라인과 상세 관리지표 및 공시 리포트를 제공하여 중소·중견 전통 제조 기업도 서비스 형태로 곧바로 활용할 수 있는 ESG 경영관리 솔루션을 개발할 예정이다"라고 밝혔다.
한편, 비아이매트릭스는 제조, 유통, 건설, 서비스, 금융, 공공 등의 다양한 업종에서 1천여 개 주요 대기업 및 기관에 차별화된 지능화 솔루션과 개발 서비스를 제공해오고 있다.기술 지표 및 도구
글로벌 자동차 스캔 도구 시장 SWOT 분석, 역학, 동인, 주요 지표 및 2022-2028년 예측
글로벌 글로벌 자동차 스캔 도구 시장 조사 보고서 2022-2028은 MarketQuest.biz에서 제공하는 자동차 스캔 도구 산업에 대한 전문적이고 심층적인 조사이며 글로벌 시장 동향 또한 연구에는 자동차 스캔 도구 시장 규모, 시장 점유율 평가, 성장, 비용 구조, 용량, 매출 및 예측 2028에 대한 정보가 포함됩니다.
이 연구는 또한 자동차 스캔 도구 시장 점유율과 시장 성장을 이끄는 모든 요인에 대한 전반적인 분석을 제공합니다. 이 연구에는 자동차 스캔 도구 산업에 대한 포괄적인 정량적 평가와 자동차 스캔 도구 시장 성장 및 효과를 개선하기 위한 전략 개발을 위한 데이터가 포함됩니다.
글로벌 “기술 지표 및 도구 자동차 스캔 도구 시장”” 연구 보고서 2022-2028은 글로벌 시장 동향에 중점을 둔 자동차 스캔 도구 산업에 대한 전문적이고 심층적인 조사입니다. 이 연구에는 자동차 스캔 도구 시장 규모, 시장 점유율 평가, 성장, 비용 구조, 용량, 수익 및 예측 2028에 대한 데이터도 포함됩니다.
유형 세그먼트에는 다음이 포함됩니다.
OBD 2 스캔 도구, OBD 3 스캔 도구
응용 분야에는 다음이 포함됩니다.
보고서에서 다루는 지역:
북미(미국, 캐나다 및 멕시코), 유럽(독일, 프랑스, 영국, 러시아, 이탈리아 및 기타 유럽), 아시아 태평양(중국, 일본, 한국, 인도, 동남아시아 및 호주), 남쪽 아메리카(브라질, 아르헨티나, 콜롬비아 및 남미 나머지 지역), 중동 및 아프리카(사우디아라비아, UAE, 이집트, 남아프리카, 중동 및 아프리카 기타 지역)
보고서에는 주요 플레이어/제조업체가 포함됩니다.
Autel, Bosch, OTC 도구, 스냅온, Hella Gutmann, 출시, AUTODOC CO., LTD, Jinbenteng, Konnwei, FOXWELL, AUTOOL, Topdon, Innova Electronic Corporation, ANCEL, Autodiag Technology, Draper Auto LLC, BlueDriver, Shenzhen Acartool Auto 전자, Shenzhen Chuang 기술 지표 및 도구 Xin Hong Technology
이 연구는 또한 자동차 스캔 도구 시장 점유율과 시장 성장을 이끄는 모든 요인에 대한 심층 분석을 제공합니다. 이 연구에는 자동차 스캔 도구 산업에 대한 심층적인 정량 분석과 자동차 스캔 도구 시장 성장 및 효과를 개선하기 위한 계획 개발을 위한 데이터가 포함되어 있습니다.
보고서 사용자 정의:
이 보고서는 고객의 요구 사항을 충족하도록 사용자 정의할 수 있습니다. 귀하의 요구에 맞는 보고서를 받을 수 있도록 당사 영업팀([email protected])에 문의하십시오. 연구 요구 사항을 공유하려면 +1-201-465-4211로 당사 경영진과 연락할 수도 있습니다.
0 개 댓글