위키득계정 ↗
기술

생성형 AI 답변의 정확성과 검증

생성형 AI 답변의 정확성과 검증기술
관련 현상
환각 또는 허구 생성
평가 단위
모델과 과제 및 평가 조건
검증 대상
주장과 계산 및 인용 출처
미래 예측
가정과 불확실성을 포함하는 추정
생성형 AI의 유창한 응답은 사실의 정확성을 보장하지 않는다. 성능 평가는 모델과 과제 및 평가 조건에 따라 이루어지며, 미래 예측은 사실 확인과 구별된다.

생성형 AI 답변의 정확성은 출력 내용이 확인 가능한 사실이나 주어진 자료와 부합하는 정도이다. 문장이 자연스럽고 단정적이라는 사실만으로 내용이 옳다고 판단할 수는 없다.

환각과 사실성

생성형 AI는 그럴듯하지만 사실과 다른 내용이나 존재하지 않는 인용을 만들 수 있다. 미국 국립표준기술연구소는 이러한 허구 생성을 생성형 AI의 위험으로 다룬다. 설명 과정이 길거나 출처가 표시되어 있어도 실제 자료와의 대조가 필요하다.

정확도 수치의 해석

정확도는 어떤 모델에 어떤 문제를 어떤 조건에서 제시했는지와 함께 해석한다. 특정 평가에서 얻은 정답률을 모든 일상 질문에 그대로 적용할 수는 없다. 사실 확인, 계산, 요약, 창작은 서로 다른 과제이며 평가 기준도 달라진다.

예측과 검증

미래에 관한 응답은 현재 자료와 가정에 근거한 추정으로 구별한다. 예측의 타당성은 관련 데이터, 방법, 예측 기간과 실제 결과의 비교를 통해 평가해야 한다. 일반적인 대화형 AI의 단정적인 답변만으로 개별 사건이 반드시 일어난다고 판단할 수는 없다.