보험 AI의 오류는 왜 한 건으로 끝나지 않을까?

잘못된 판단을 회수하는 시스템이 필요한 이유

안녕하세요, 트레져러입니다

보험사가 AI로 수천 건의 보험금 청구를 심사했다고 가정해 보겠습니다.

어느 날 특정 질병 코드를 AI가 잘못 해석하고 있었다는 사실이 발견됐습니다. 보험사는 오류를 수정하고 새로운 기준을 시스템에 반영합니다.

그렇다면 문제는 해결된 것일까요?

앞으로 접수되는 청구에는 수정된 기준이 적용되겠지만, 이미 심사가 끝난 과거의 청구 결과는 그대로 남아 있습니다. 같은 오류로 보험금이 삭감되거나 지급되지 않은 고객이 더 있을 수도 있습니다.

보험 AI의 오류는 한 건의 잘못된 판단으로 끝나지 않습니다.

같은 모델과 기준이 여러 계약에 반복 적용되기 때문에, 하나의 오류가 다수의 소비자에게 같은 형태로 확산될 수 있습니다.

잘못된 판단이 어디까지 적용됐는지 찾아내고, 이미 내려진 결과까지 다시 검토할 수 있는 체계가 필요합니다.

오늘은 보험 AI의 신뢰를 결정하는 새로운 기준, 판단 리콜에 대해 살펴보겠습니다.

사람의 실수와 AI의 오류는 퍼지는 방식이 다르다

출처: iStock

담당자가 서류를 놓치거나 날짜를 잘못 확인하는 것처럼, 사람의 실수는 특정 사건에서 우연히 발생하는 경우가 많습니다. 반면 AI나 자동화 규칙의 오류는 동일한 조건이 적용되는 여러 사건에 빠르게 반복될 수 있습니다.

​

심사 규칙에 잘못된 조건이 한 번 입력되면 같은 유형의 청구에 동일한 판단이 계속 반복됩니다.

• 특정 질병 코드를 다른 질병으로 분류
• 보장 개시일 계산 규칙 오류
• 스캔 문서의 날짜 형식을 반복적으로 잘못 인식
• 과거 약관이 적용돼야 할 계약에 최신 약관 적용

​

이런 오류가 1000건의 심사에 쓰였다면 1000건을 다시 확인해야 할 수도 있습니다.

그리고 문제가 발견돼 모델이나 규칙을 고쳐도, 그건 미래의 청구만 정상 처리되게 만들 뿐입니다. 수정 전에 같은 오류로 심사받은 고객의 결과는 누군가 다시 들여다보지 않는 한 그대로 잘못된 상태로 남습니다.

보험 AI의 위험은 틀릴 수 있다는 데 있지 않습니다. 같은 방식으로 계속 틀릴 수 있다는 데 있습니다.

보험에도 ‘판단 리콜’이 필요하다

출처: 모두의 연구소

자동차나 전자제품에서 결함이 발견되면 기업은 리콜을 합니다.

새로 생산되는 제품만 고치는 것이 아니라 이미 판매된 제품 가운데 같은 결함의 영향을 받은 대상을 찾아 수리하거나 교환합니다.

소비자가 먼저 고장을 발견해 신고할 때까지 기다리는 것이 아니라, 기업이 결함의 범위를 확인하고 대상 고객에게 알리는 방식입니다. 보험 AI에도 같은 개념이 필요합니다.

​

오류가 발견됐을 때 그 오류가 적용됐을 가능성이 있는 과거 심사 결과를 찾아 다시 검토하는 과정, 즉 판단 리콜이 필요합니다.

​

예를 들어 보험사는 다음과 같은 조건으로 재검토 대상을 찾을 수 있습니다.

• 동일한 AI 모델 버전을 사용한 심사
• 동일한 부지급 사유가 적용된 청구
• 같은 질병 코드나 사고 유형이 포함된 청구
• 특정 약관 버전이 사용된 계약
• 같은 문서 인식 규칙이 적용된 사례
• 오류 발생이 의심되는 기간에 처리된 심사

이후 재검토 결과 실제로 잘못된 결정이 확인된다면 보험금 추가 지급, 심사 결과 정정, 고객 통지 등의 절차가 이어져야 합니다.

​

핵심은 소비자가 직접 문제를 발견하고 이의를 제기할 때까지 기다리지 않는 것입니다.

개별 소비자는 자신이 받은 심사 결과가 AI의 오류 때문인지 알기 어렵습니다. 같은 유형의 문제가 다른 고객에게도 발생했는지 확인할 수도 없습니다. 반면 보험사는 어떤 시스템과 기준이 여러 청구에 공통으로 적용됐는지 파악할 수 있습니다. 따라서 반복되는 오류를 발견하고 과거 결과를 바로잡는 책임은 시스템을 운영한 보험사에 있을 수밖에 없습니다.

판단을 바로잡으려면, 먼저 판단의 근거가 남아 있어야 합니다출처: Keysight

잘못된 판단을 다시 검토하려면 단순히 최종 결과만 저장해서는 부족합니다.

어떤 문서와 수치가 사용됐는지, 어떤 조건과 기준으로 결론이 내려졌는지 확인할 수 있어야 오류의 원인을 검토하고 판단의 근거를 되짚어볼 수 있습니다.

투자 분석도 마찬가지입니다. 같은 종목에 대한 결론이라도 어떤 공시와 뉴스, 재무 수치를 근거로 삼았는지에 따라 판단의 의미가 달라집니다.

​

AlphaLenz는 모든 산출물을 원본 공시와 문서의 출처, 수치와 교차검증해 근거와 함께 제시합니다. 근거가 부족한 경우에는 추론을 제한하고, 확인할 수 없는 내용에 대해 억지로 답하지 않도록 검증 레이어를 적용합니다.

이는 단순히 AI의 정확도를 높이기 위한 장치만은 아닙니다. 결과에 문제가 발견됐을 때 어떤 정보와 판단 과정을 다시 확인해야 하는지 추적할 수 있게 만드는 기반이기도 합니다.

​

AI의 결론을 신뢰하려면 답을 받는 것에서 끝나서는 안 됩니다. 그 판단이 어디에서 시작됐고, 어떤 근거를 거쳐 만들어졌는지 다시 돌아볼 수 있어야 합니다.

좋은 보험 AI는 틀리지 않는 AI가 아닙니다

출처: HDFC Life

보험 AI의 정확도를 높이는 일은 여전히 중요합니다. 하지만 실제 업무에 쓰이는 AI가 단 한 번도 오류를 내지 않으리라 기대하기는 어렵습니다. 상품과 약관은 계속 바뀌고, 이전에 없던 형태의 서류와 사고가 계속 생기기 때문입니다.

​

보험사가 준비해야 할 것은 완벽한 AI에 대한 기대가 아닙니다. 오류를 빠르게 발견하고, 더 퍼지지 않게 막고, 같은 오류가 적용된 과거 판단을 찾아 바로잡을 수 있는 구조입니다.

AI를 고치는 것만으로는 부족합니다. AI가 만든 결과까지 고칠 수 있어야 합니다.

보험 AI의 진짜 책임은 한 건의 판단을 설명하는 데서 끝나지 않습니다. 잘못된 판단이 어디까지 퍼졌는지 확인하고, 영향받은 고객의 결과를 끝까지 회수하는 것. 그것이 보험 AI가 속도와 자동화를 넘어 신뢰를 얻기 위한 다음 단계입니다.