28:Ta72,

연구 개요

한국전자통신연구원(ETRI) 발주 과제로, 한국 청소년의 발달단계·언어·문화와 가족·학교·또래 환경을 반영한 대화형 AI 위험 평가 벤치마크를 구축한다. 성균관대학교 AXIS Lab이 주관 실무조직을 맡고, 인공지능융합학과 LAMDA Lab과 DE HuB Lab이 협력하는 교내 융합형 체계로 수행한다.

문제의식

청소년은 생성형 AI와 AI 컴패니언을 정보 탐색 도구를 넘어 정서적·관계적 대화 상대로 이용한다. 국내 만 14세 이상 아동·청소년 3,300명 조사에서 49.5%가 "AI가 자신을 이해해 준다"고 느낀 경험이 있었고, 32.3%는 힘들거나 우울할 때 AI와 대화했으며, 41.0%는 AI의 답변을 실제 행동에 옮긴 경험이 있다고 응답했다. 이러한 위험은 유해 콘텐츠 노출이라는 기존 개념만으로 포착되지 않는다. 대화가 누적되며 신뢰가 형성되고, 그 신뢰를 매개로 경계가 무너지며 정서적 의존과 고립이 심화되는 관계적 위험이 함께 발생하기 때문이다.

접근의 차별성

① 관계 형성 단계의 상류 위험 포착 — 유해 콘텐츠가 생성된 이후가 아니라 요청과 관계가 형성되는 단계부터 위험을 본다
② 다중턴 누적 위해의 정량화 — 대화가 누적되며 경계가 무너지는 과정을 누적 관계위험지수(CRRI)로 측정한다
③ 안전성과 유용성의 동시 측정 — 실패율과 과잉거절률을 함께 보고해, 거절만 늘린 모델이 높은 점수를 받지 않도록 설계한다
④ 번역이 아닌 한국화 — 청소년 은어, 가족·학교·또래 관계, 청소년전화 1388 등 국내 상담·신고 체계를 반영해 문항과 판단기준을 재구성한다

수행 내용

그루밍·성적 착취, 경계 침해·조종, 정체성 혼동·의인화, 정서적 과의존·고립, 자해·자살·위기, 컴패니언 특화의 6개 위험군을 확정하고, 번역과 문화적 적응을 분리한 5단계 절차로 위험군별 총 480문항을 구축한다. 청소년 전문가 8~12인이 참여하는 2회 검증을 거쳐 문항을 확정하고, 단일턴과 다중턴을 동일 스키마로 수용하는 평가 프로토콜과 6차원 평가기준(Rubric)·평가지표(Metrics)를 설계한다. 주요 모델 5종을 동일 조건에서 평가해 위험군·연령대·대화 단계별 실패 패턴을 분석하고, 시범 벤치마크 132문항과 확장·운영 가이드를 함께 제시한다.