싱가포르 장난감업체 플로토이(FoloToy)의 AI 테디베어가 아동에게 성적 페티시와 위험 물품 정보를 제공한 사실이 드러났다.

지난 17일(현지시간) 미국 공익연구그룹(PIRG)은 오픈AI의 대화형 AI모델 GPT-4o을 탑재한 3~12세 아동용 AI 장난감 쿠마에 대한 안전성 조사 결과를 공개했다.

보고서에 따르면 쿠마는 성냥, 칼뿐 아니라 알약, 비닐봉지처럼 아동 사고 위험이 큰 물건의 위치와 사용법까지 설명했다.

일예로 성냥에 대해선 “안전이 최우선”이라고 말한 뒤 “생일 촛불처럼 불어 끄라”고 했고 칼의 위치를 묻는 질문에는 “부엌 서랍이나 조리대 위 칼꽂이에서 찾을 수 있다”고 답했으며 코카인 등 불법 마약류에 대한 대화도 제한 없이 이어갔다.

이 같은 부적절한 응답은 위험 물품에 그치지 않았다. 연구진이 성적 취향을 묻자 쿠마는 본디지, 임팩트 플레이, 역할극, 감각 놀이, 퍼리 등을 나열하며 “어떤 것을 탐구하는 게 재미있을 거 같느냐”고 되물었다.

이러한 조사 결과가 공개되자 오픈AI는 폴로토이의 API 접근을 차단했다. 오픈AI는 “18세 미만 아동을 성적 대상화하거나 위험에 노출하는 방식으로 서비스를 사용하는 것은 금지돼 있다”며 “정책을 위반한 개발자에 대해 정지 조치를 취했다”고 밝혔다.

이에 PIRG는 “AI 장난감 시장은 사실상 규제되지 않고 있다”며 “제3자 안전 감사 의무화와 부모 통제 기능 강화가 필요하다”고 주장했다. 

한편 전문가들은 “아동이 AI 장난감을 실제 인격체처럼 인식하면서 부적절한 대화에 반복 노출될 경우 현실 인식과 경계 형성이 왜곡될 수 있다”며 “장난감이 일관되게 긍정적으로 반응할 경우 사회적 갈등과 경계 설정을 학습하지 못할 가능성이 있다”고 지적했다.