오차 매트릭스 정밀도 평가 방법은 현재 원격 감지 분류 정밀도 평가의 핵심 방법으로 남아 있으며 분류 정밀도 평가를 위한 표준 방법 (Smits et al., 1999) 으로 권장됩니다. 그러나 오류 매트릭스에 기반한 정밀도 평가 방법에는 많은 제한이 있습니다. 원격 감지 데이터 분류에 대한 인식이 깊어지고 정확도가 다른 평가 목표가 요구됨에 따라 과학자들은 많은 새로운 오차 평가 방법과 지표를 개발했다. 동시에 오류 매트릭스에 기반한 정밀도 평가 방법도 끊임없이 발전하고 개선되고 있습니다.
표 2- 1 에는 몇 가지 주요 원격 감지 분류 정확도 평가 방법 및 정확도 측정 지표가 나와 있습니다. 평가 방법의 관점에서 오류 매트릭스 기반 방법, 퍼지 분석 기반 방법 및 기타 방법의 세 가지 범주로 나눌 수 있습니다.
1. 오류 매트릭스에 기반한 분류 정확도 평가 방법
오류 행렬 및 정확도 측정
오차 행렬은 난독 화 행렬이라고도 하며 비교 배열 (Congalton, 199 1) 으로, 특정 범주로 분류된 픽셀 수와 지면 테스트가 해당 범주로 분류되는 픽셀 수를 나타냅니다. 일반적으로 배열의 열은 참조 데이터를 나타내고 행은 원격 감지 데이터 분류를 통해 얻은 범주 데이터를 나타냅니다. 일반적인 오류 매트릭스는 그림 2-3 에 나와 있습니다. 오류 매트릭스에서 각 유형의 위임 오류 및 누락 오류를 시각적으로 얻을 수 있습니다. 포함 오차는 범주에 속하지 않아야 하는 픽셀을 해당 범주로 나누는 오차로, 해당 범주가 있는 행의 비대각 요소 합계를 해당 행의 합계로 나눈 것입니다. 손실 오차는 범주에 속하는 픽셀이 해당 범주로 분류되지 않은 오차로, 해당 범주가 있는 열의 비대각 요소 합계를 해당 열의 합계로 나누어 얻은 것입니다.
표 2- 1 다양한 분류 정확도의 평가 방법 및 특징
그림 2-3 오류 매트릭스 다이어그램
오류 매트릭스는 다양한 포함 및 누락 오류를 명확하게 표시할 수 있을 뿐만 아니라 전체 정밀도, 생산자 정밀도, 사용자 정밀도 (story and congalton, 1986) 와 같은 다양한 정밀도 측정 지표를 계산할 수 있습니다. 총 정밀도는 오류 행렬에서 주요 대각선 요소의 합계 (올바르게 분류된 수) 를 총 샘플 수로 나눈 것입니다. 생산자 정확도 및 사용자 정확도는 개별 범주의 정확도를 나타낼 수 있습니다. 생산자 정밀도는 한 범주의 정확한 분류 수를 해당 범주의 총 샘플 수 (해당 범주의 열 수 합계) 로 나눈 것입니다. 사용자 정밀도가 올바르게 분류로 정의된 클래스 수를 클래스로 분류된 샘플 수 (클래스의 행 합계) 로 나눕니다. 전체 정밀도, 생산자 정밀도 및 사용자 정밀도에 대한 계산 공식은 R.G. Congalton 및 K. Green (1998) 에 나와 있습니다.
위에서 설명한 정밀도 측정 외에도 다양한 오류 매트릭스 기반 통계 분석 기술을 사용하여 다양한 분류 방법을 비교할 수 있습니다. 이 중 Kappa 분석 기술이 가장 많이 사용됩니다.
카파 분석 기술 (코헨,1960; 스트먼,1996; Congalton 및 Mead (1983) 는 분류 결과가 무작위 분류 결과보다 통계적으로 우수한 정도를 반영하는 다변량 통계 분석 기술입니다. 두 분류자의 오류 행렬이 크게 다른지 비교하는 데 사용할 수 있습니다 (Congalton,1 스미스,1999). 카파 분석의 결과는 아랍차 통계입니다. 오류 매트릭스에서 전체 분류의 아라비아 차 통계 및 다양한 범주의 조건부 카파 계수를 계산할 수 있습니다. 계산 공식은 R.G. 콘갈튼과 K. 그린 (1998) 을 참조하십시오.
Kappa 계수와 그 분산에 대한 일반적인 추정 방법은 샘플 모델이 다항식 모델이라고 가정할 때 개발되지만 간단한 임의 샘플링 방법만이 이 가정 (Congalton, et al, 1999) 을 충족합니다. Stehman( 1996) 은 계층 샘플링 조건 하에서 Kappa 계수와 그 차이를 추정하는 방법에 대해 설명합니다.
Kappa 분석 기술 외에도 한계 맞춤 기술을 통해 오류 행렬을 정규화 (또는 표준화) 하여 서로 다른 오류 행렬 간의 비교를 용이하게 할 수 있습니다. 오류 행렬을 정규화하면 오류 행렬 생성 중 샘플 수가 다르기 때문에 발생하는 차이를 제거하고 다른 오류 행렬의 해당 요소를 비교할 수 있습니다. 정규화하는 동안 비대각 요소의 정보를 고려하기 때문에 정규화된 정밀도는 오류 매트릭스의 전체 정밀도보다 분류의 실제 정밀도 (cong altonet al., 1998) 를 더 잘 나타냅니다.
오류 매트릭스에 기반한 정확도 평가 방법의 문제점.
(1) 정밀도 측정 지표. 오차 매트릭스에서 전체 정밀도, 생산자 정밀도, 사용자 정밀도, Kappa 계수 등 많은 정밀도 측정을 얻을 수 있지만 원격 감지 데이터 분류 정밀도를 평가하는 핵심 방법 (Foody, 2006 54 38+0) 이 되었습니다. 스미스, 1999). 하지만 실제 응용에서는 여전히 많은 문제가 있습니다 (Foody,1992; 폰티아스, 2000 년).
Foody( 1992) 는 Kappa 계수 계산에서 chance agree 가 실제로 과대평가되었기 때문에 전체 분류 정확도가 과소평가되었다고 생각한다. 말과 레드먼드 (1995) 도 이 문제를 인식하고 Kappa 계수 대신 Tau 계수를 오차 매트릭스의 정확도 지표로 사용하는 것이 좋습니다. 일부 과학자들은 Kappa 계수를 비확률적 측정으로 정밀 측정지표로 사용하기에는 적합하지 않다고 생각합니다 (Stehman and Czaplewski, 1998). 다른 목표에 따라 다른 정밀도 측정 (Lark,1995) 을 사용해야 한다고 생각하는 과학자들도 있다. 스트먼, 1997,1999; Koukoulas 와 Blackburn, 200 1) 은 분류 정확도 (Arbia et al,1998 뮬러 등1998; 스트먼, 1997) 。
(2) 샘플링 문제. 오류 매트릭스는 특정 샘플 양을 기준으로 한 지면 참 범주와 분류 범주의 비교이므로 서로 다른 샘플 설계 및 샘플 양은 정밀도 평가 결과와 직접 관련이 있습니다. 스트먼 (1995; 1996; 1997; 1998; 1999; 2000; 200 1) 원격 감지 분류 정확도 평가의 샘플링 문제에 대해 매우 심도 있는 연구를 진행했다. 샘플량의 경우, 샘플량이 많으면 일반적으로 평가 결과의 신뢰성이 높아지지만 분석 비용이 증가합니다. 샘플링 방법의 경우, 먼저 샘플의 편향성을 보장해야 합니다. 이는 정확도 평가 결과의 신뢰성을 보장하는 기초입니다. 둘째, 오차 매트릭스에 기반한 추가 분석은 어떤 샘플링 방법을 채택했는지와 관련이 있습니다. 샘플링 모델마다 다른 분산 추정 방법이 필요하기 때문입니다. 마지막으로 샘플링 방법은 샘플의 공간 분포를 결정하고 정밀도 평가 비용 (Congalton et al, 1999) 에 직접적인 영향을 줍니다. 일반적인 샘플링 방법에는 단순 무작위 샘플링, 시스템 샘플링, 계층 무작위 샘플링, 전체 샘플링 및 계층 시스템 샘플링이 포함됩니다. 왕금봉 등 (2002) 은 작은 샘플 문제에 적용되는 메자닌 샘플링 방법을 개발하여 경지면적 모니터링 샘플에 성공적으로 적용했다. Congalton 등 (1999) 은 다양한 샘플링 방법의 장단점을 상세히 논의했다. 일반적으로 간단한 임의 샘플링은 오류 매트릭스에 기반한 정확도 분석에 적합한 좋은 통계 특성을 가지고 있습니다. 그러나 무작위 샘플이 도달할 수 없는 영역에 있을 수 있으므로 실제 평가 중에는 지면 실제 정보를 얻기가 어렵습니다. 또한 샘플 수가 적은 경우 면적이 작은 일부 범주에 샘플 점이 없을 수도 있지만 샘플 점이 많으면 비용과 샘플 획득의 어려움이 증가할 수 있습니다. 이는 실제 응용 프로그램에서 매우 날카로운 모순입니다. 이론적으로 계층 무작위 샘플링은 작은 영역 범주에 샘플 점이 없는 문제를 해결할 수 있습니다. Stehman( 1996) 은 등급 무작위 표본 추출 아래 아랍차의 통계적 분산 추정 방법을 개발했다. 그러나 샘플을 선택하기 전에 각 클래스의 위치 (cong altonet al., 1999) 를 알 수 없기 때문에 실제 평가 과정에서 비현실적일 수 있습니다. 다른 샘플링 방법의 경우, 아라비아 차 통계의 차이를 어떻게 추정할 것인가는 여전히 문제다.
(3) 참고 데이터의 정확성. 오류 매트릭스에 기반한 분류 정밀도 평가의 기본 가정 중 하나는 참조 데이터가 완전히 정확하다는 것입니다. 이런 가설은 실제 평가에서 왕왕 보장하기 어렵다. 대부분의 경우 지면 참조 데이터에는 오류 (콘가튼과 그린,1999) 도 포함되어 있습니다. 호람,1999; 루네타 등, 2001; 주, 롭슨 등, 1998), 심지어 분류 데이터보다 더 큰 오차 (에블람스, 비앤치와 피에리,1996; 바우어 등1994; 파워스와 라문,1996; Merchant 등, 1994). 참조 데이터의 오류에는 주제 오류뿐만 아니라 참조 데이터 및 분류 데이터 등록으로 인한 위치 오류 (Dicks 및 Lo, 1990) 도 포함됩니다. 정밀도를 평가할 때 오류 매트릭스의 참조 데이터와 분류 데이터의 불일치는 항상 분류 데이터의 오류 (Congalton,1991) 에 기인합니다. Fitzgerald 와 Lees, 1994), 이로 인해 분류 결과의 정확성이 과소 평가될 수 있습니다 (주, 양, Stehman, Czaplewski, 2000).
참조 데이터에는 일반적으로 두 가지 출처가 있습니다. 하나는 현장 조사를 통해 얻은 것이고, 다른 하나는 공간 해상도가 높은 원격 감지 데이터의 분류 결과를 참고 데이터로 하는 것이다. 지면 실제 정보 수집은 지면 장면의 복잡성, 공간 분포 및 샘플 셀 크기, 사람의 주관적인 판단에 의해 영향을 받습니다. 지상 목표가 복잡한 영역에서는 특정 위치가 속한 범주를 결정하기가 어려울 수 있습니다. 또한 샘플 셀이 크면 혼합 픽셀 때문에 요소 크기의 "순수" 지면 진실을 찾지 못할 수 있습니다. 더 높은 공간 해상도의 분류 결과는 굵은 공간 해상도 원격 감지 데이터의 분류 결과를 "확인" 하는 참조 데이터로 사용됩니다 (Justice Etal.2000; Thomlinson 등, 1999). 서로 다른 해상도의 데이터를 비교할 때 혼합 픽셀 존재 및 두 데이터 세트 분류 시스템의 차이로 인한 범주 선명도의 차이도 정확도 평가 결과에 심각한 편차를 가져올 수 있습니다 (Bird et al., 2000; Czaplewski,1992; Scepan 등1999; 주 등, 1998). 참고자료 문제로 인해 오차 매트릭스 기반 정밀도 평가 방법은 지역 차원의 고해상도 원격 감지 데이터의 분류 정밀도 평가에만 적용되며 거친 해상도 원격 감지 데이터의 분류 정밀도 평가 (Merchant et al.,1에는 적용되지 않습니다. 대규모 거친 해상도 원격 감지 데이터의 분류 정확도 평가는 줄곧 많은 관심을 받고 있다 (Justice et al., 2000; Stehman, Wickham, Yang and Smith, 2000) 그리고 약간의 진전이 있었습니다. 예를 들어, Lewis 와 Brown(200 1) 은 서브 픽셀 분류 및 면적 추정의 정확성을 평가하는 광범위한 오류 매트릭스를 개발했습니다. 대규모 저해상도 원격 감지 데이터 분류에 퍼지 분류 방법을 적용하여 다양한 퍼지 분류 정밀도 평가 방법 (Foody,1996) 을 적용합니다. 캔터스,1997; 타운센드, 2000; 엣킨슨, 1999) 。
(4) 오류의 심각도. 오류 매트릭스에 기반한 분류 정밀도 평가에서 모든 분류 오차는 동등한 가중치 (Foody, 2002) 를 갖습니다. 즉, 분류 오류의 심각성은 동일하게 간주됩니다. 사실, 범주 간 혼동은 오류 심각도가 다릅니다 (포브스,1995; 나이셋,1996; 스트먼, 1999). 오류는 비교적 비슷한 범주 사이에서 발생하기도 하고, 관련이 없는 범주 사이에서 발생하기도 한다. 유사한 범주 간의 오류는 응용 프로그램에서 중요하지 않을 수 있지만 매우 다른 범주 간의 분류 오류는 응용 프로그램에서 심각한 결과 (Defries 및 Los, 1999) 를 초래할 수 있습니다. 예를 들어, 토지 피복 분류에서 침엽림과 수역 사이의 분류 오차는 침엽림과 활엽림 사이의 분류 오차보다 훨씬 심각하다.
표층물질 분포의 연속성으로 인해 범주 간에 뚜렷한 경계가 없고 한 범주에서 다른 범주로 점진적으로 전환됩니다. 일반 분류자 (하드 분류자) 는 불연속 범주 세트로 이러한 연속 분포를 나타내고 분류 판별 규칙에 따라 비슷한 특징을 가진 픽셀을 다른 범주 (Foody, 2000) 에 할당합니다. 스틸 등,1998; Townsend, 2000 년). 유사 범주 스펙트럼 특징의 유사성에 따라 분류 오류 매트릭스에서 범주 혼동이 범주 간에 발생하는 대부분의 전환 영역이 결정됩니다. 이 경우 오류 매트릭스에서 유사한 범주의 혼동이 클 수 있지만 유사한 범주 간의 혼동으로 인해 실제 응용 프로그램에서 분류된 결과의 실제 품질이 더 높습니다. 오류 매트릭스의 일부 범주는 혼동되지 않지만 관련없는 범주 간에 혼동 (예: 수역 및 그림자) 으로 인해 데이터 품질에 심각한 문제가 있습니다. 따라서 응용 프로그램의 관점에서 볼 때, 오류 매트릭스가 항상 혼란스러울 가능성은 반드시 데이터 품질이 낮다는 것을 의미하지는 않으며, 그 반대의 경우도 마찬가지입니다. 이 문제를 해결하는 한 가지 방법은 범주 간 오차에 대해 서로 다른 가중치를 사용하여 가중 Kappa 계수 (Naesset, 1996) 를 계산하는 것입니다. 그러나 가중치의 선택은 주관적이며, 다른 목적의 평가 결과는 비교가 안 된다 (Stehman, 1997b).
(5) 오류의 공간 분포 및 시각화. 원격 감지 분류 데이터의 오차는 공간적으로 무작위로 분산되지 않습니다 (Congalton,1988; 1999). 다른 그림 및 센서 특성에 따라 원격 감지 분류 데이터의 오류에는 일정한 공간 분포 구조가 있습니다. 기존의 오류 매트릭스 기반 정밀도 평가에서 각 범주는 정밀도 측정에 해당합니다. 즉, 각 범주의 분류된 모든 픽셀이 동일한 불확실성을 가지고 있다는 것을 의미합니다. 이는 분명히 사실이 아닙니다. 혼합 픽셀 존재로 인해 일반 오류는 주로 범주 사이의 가장자리 영역 (Congalton,1988) 에 분산됩니다. 에드워즈와 로웰,1996; 스틸 등,1998; 비에라와 마르셀, 2000 년). 오차의 공간 분포는 오차의 출처를 감지하는 데 도움이 될 뿐만 아니라 원격감 분류 결과를 데이터 소스로 하는 환경 모델의 오차 전파 분석에서 매우 중요하다 (Lanter 와 Veregin,1992; 미셸 등, 200 1) 그러나 오류 매트릭스와 오류 매트릭스에서 얻은 정밀도 측정은 오류의 공간 분포에 대한 정보 (Canters,1997) 를 제공하지 않습니다. 모리셋 등1999; 스틸 등,1998; 비슨 등, 2000 년). 원격 감지 분류 정확도의 공간 분포 구조를 표현하고 감지하기 위해 많은 연구가 분류 불확실성의 시각화 (Fisher,1994; 비에라와 마더, 2000 년; 마셀리, 코네세, 피터코프,1994 벤더와 고트, 1998). 최대 우도 분류 과정의 후험 확률은 분류 불확실성의 공간 분포 (Canters,1997; Goodchild 등, 1992) 그리고 시각적으로 쉽게 표현할 수 있습니다. 그러나 사후 검사 확률은 최대 우도 분류법에서만 얻을 수 있으며, 이로 인해 적용이 제한됩니다. McIver 와 Friedl(200 1) 은 비모수 기계 학습 방법을 사용하여 픽셀 수준 토지 피복 분류의 불확실성을 추정합니다. 또한 정보 엔트로피 (주, 1997), 퍼지 추론 방법 (Foody, 2000) 및 지질통계학 방법 (deBruin, 2000) 도 오차에 대한 공간 변화 정보를 제공하는 데 사용됩니다.
둘째, 퍼지 집합 이론에 기반한 정확도 평가 방법
앞서 오류 매트릭스 정밀도 평가에서 참조 데이터 문제를 논의했을 때, 실제로 특정 범주에 속하는 "순수" 참조 데이터를 찾기가 어려울 수 있습니다. 혼합 픽셀 존재 때문에 정밀도 평가 결과가 편향되기 때문입니다. 이런 상황에 대해 고파르와 우드쿡 (1994,2000) 은 모호한 세트 이론으로 원격감 분류 주제도의 정확도를 평가하는 방법을 개발했다. 이 방법은 의미에서 분류 정밀도를 절대 오차, 이해할 수 있지만 오류, 수용 가능, 양호, 완전히 정확한 5 가지 의미 정밀도 수준으로 나눕니다. 전문 지식을 통해 각 의미 척도의 모호한 예속도를 얻은 다음 모호한 추리를 통해 분류된 이미지 오류의 빈도, 심각도 및 오류 출처를 얻을 수 있습니다. 퍼지 집합 이론 평가 방법은 혼합 픽셀 경우의 오차 평가 방법을 제공하고 오차 심각도에 대한 정보를 제공합니다. 그러나 전문 지식을 이용하여 모호한 예속도를 얻는 방법은 주관성과 임의성 (Knight 와 Khorram, 2000) 을 가지고 있어 서로 다른 평가 결과를 비교하기가 쉽지 않다. 또한 참조 데이터의 범주 간 혼동 정보만 제공하므로 Kappa 통계 (Smits, 1999) 만큼 정확도가 떨어집니다. 동시에 실제 응용에서 모호한 논리 추리의 규칙을 세우는 것도 쉬운 일이 아니다 (Congalton, 1999). 또한 퍼지 집합 이론에 기반한 정밀도 평가 방법은 오류 매트릭스 기반 분석에서 오류의 샘플링 및 공간 분포와 시각적 표현 문제도 있습니다.
셋째, 다른 분류 불확도 평가 방법
오류 매트릭스 및 퍼지 집합 이론에 기반한 원격 감지 분류 불확실성 평가 방법 외에도 분류 정확도를 평가하는 많은 분석 기술이 있습니다. 예를 들어 로젠필드 (198 1) 가 제시한 분산 분석 기술, Maxim( 1983) 의 다원 의사 베이지안 추정 기술, Richards (1983) 퍼지 유사성에 기반한 정확도 측정 (Gunther Jager 및 Ursula Benz, 2000), 최소 정밀도 값 분석 (Aronoff, 1985), 오분류 확률 추정 (Steele 등 구드조드 등, 1992 등. 그 중에서도 후험 확률 추정은 픽셀 잣대에 분류 불확실성을 반영하는 공간 분포 구조와 변화로 인해 시각적 표현이 용이하기 때문에 점점 더 주목받고 있다. 사후 확률 추정에 기반한 평가 방법은 일반적으로 베이시안 분류에만 적용됩니다. 다른 일반적인 분류 방법의 픽셀 척도에 대한 불확실성을 평가하는 방법은 이 책에서 연구해야 할 내용 중 하나이다.