인스타그램이 사이버폭력 쫓는 방법은…"AI와 인간의 협력"
AI가 신고하면 리뷰팀이 최종 검토…"리뷰팀 철저히 트레이닝"
자해 콘텐츠 허용 않기로…괴롭힘 방지 위해 태그 관리 등 도입
(서울=연합뉴스) 이효석 기자 = "인스타그램은 우리가 하는 모든 일이 '커뮤니티를 위한 일'인지 항상 되묻습니다. 체계적인 글로벌 정책을 통해 폭력으로부터 자유롭고 안전한 플랫폼을 만들고 있습니다."
인스타그램은 15일 온라인으로 기자간담회를 열고 사이버 괴롭힘 등 온라인상의 폭력·혐오를 예방하기 위해 기울이는 노력을 공유하면서 이와 관련해 도입한 새 기능을 발표했다.
인스타그램의 필립 추아 정책 아시아태평양(APAC) 총괄에 따르면 인스타그램은 안전한 플랫폼을 만들기 위해 커뮤니티 가이드라인을 운영하고 있으며, 머신러닝 인공지능(AI) 기술과 리뷰팀 인력을 동시에 적용하고 있다.
머신러닝 AI는 가이드라인을 위반하는 게시물을 찾아 자동으로 리뷰팀에 신고하며, 리뷰팀은 신고된 게시물을 연중무휴 리뷰해 적절히 조처한다.
추아 총괄은 이런 AI와 리뷰팀의 적절한 조화가 안전한 플랫폼의 핵심이라고 설명했다.
그는 "검토 정확도와 속도를 향상하기 위해 AI 기술을 개선하고 있지만, (게시물의) 앞뒤 맥락을 이해하는 데 있어 알고리즘은 아직 인간만큼 효율적이지 않기 때문에 콘텐츠 검토 프로세스의 중심에는 여전히 리뷰 인력이 있다"고 말했다.
인스타그램 리뷰팀은 신고가 들어온 콘텐츠를 검토해 정책 위반 여부를 결정하는데, 신고 내용에 상관없이 해당 콘텐츠가 인스타 정책 중 어느 하나라도 위반하는지를 판단한다.
'스팸 광고'라고 신고가 들어와도 스팸인지만 따지는 게 아니라 노출이 심하지는 않은지, 혐오 표현은 아닌지 등을 모두 검토하는 것이다.
신고 접수 게시물이 자살, 자해, 테러, 아동착취 등에 관한 이미지일 경우 리뷰팀은 사법기관 등 타 기관과 협력해 추가 조처를 내린다.
이런 시스템이 제대로 작동하려면 꼼꼼히 설계한 게시물 가이드라인과 주기적인 업데이트, 리뷰팀의 전문적인 트레이닝이 필수적이다.
인스타그램은 "정책 변화가 인스타그램 커뮤니티 전반에 미치는 영향을 평가하고 현재 문제시되는 이슈를 인지하고자 노력한다"며 "해당 분야 전문가들과 정책을 검토하고 업데이트한다"고 설명했다.
최근 인스타그램은 이 같은 절차를 거쳐 자해 관련 내용을 담은 콘텐츠를 더는 허용하지 않기로 결정했다.
추아 총괄은 "어려움을 겪는 이들이 마음의 상처를 치유하기 위해 자신을 표현하는 것과 그런 콘텐츠를 보게 될 이용자들에게 미칠 수 있는 부정적 영향력 간의 균형을 고민했다"며 "노골적인 자해 이미지는 의도치 않았더라도 자해를 조장할 가능성이 있다고 결론 내렸다"고 밝혔다.
앞으로 인스타그램에서 자해 관련 콘텐츠는 검색, 해시태그, 둘러보기 등의 탭에서 표시되지 않는다.
인스타그램은 자살·자해 관련 콘텐츠를 예방하는 데에 각국 기관과 협력하기로 했다. 한국에서는 중앙자살예방센터와 파트너십을 맺었다. 우울증 관련 대응을 위해 스텔라파운데이션·아이들과미래재단과도 협력하기로 했다.
추아 총괄은 인스타그램이 온라인 괴롭힘(사이버불링) 역시 집중적으로 모니터링하고 있다고 말했다.
그는 "온라인 괴롭힘은 그저 악의적인 댓글이나 이미지뿐 아니라, 수치스럽거나 모욕적인 발언, 협박, 의도적인 따돌림 등 다양한 형태로 존재한다"며 "이용자를 보호할 수 있는 다양한 기능과 AI 기술을 개발하고 있다"고 설명했다.
인스타그램은 최근 이용자가 다른 사람 게시글에 자신이 태그되는 것을 관리할 수 있도록 했는데, 이 기능에 괴롭힘 방지 목적이 있다.
추아 총괄은 "태그를 이용한 괴롭힘 사례가 있었다"면서 "이용자는 댓글이나 캡션, 스토리에 자신을 태그할 수 있게 할지, 자신을 팔로우하는 사람만 가능하게 할지, 아무도 태그할 수 없도록 할지 등을 직접 정할 수 있다"고 말했다.
인스타그램은 다이렉트 메시지(DM)에도 수신 가능 범위를 설정할 수 있도록 할 예정이며, 특정 이용자의 댓글을 해당 이용자 몰래 가리는 '제한하기' 기능도 도입한다고 덧붙였다.
hyo@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포 금지>
AI가 신고하면 리뷰팀이 최종 검토…"리뷰팀 철저히 트레이닝"
자해 콘텐츠 허용 않기로…괴롭힘 방지 위해 태그 관리 등 도입
(서울=연합뉴스) 이효석 기자 = "인스타그램은 우리가 하는 모든 일이 '커뮤니티를 위한 일'인지 항상 되묻습니다. 체계적인 글로벌 정책을 통해 폭력으로부터 자유롭고 안전한 플랫폼을 만들고 있습니다."
인스타그램은 15일 온라인으로 기자간담회를 열고 사이버 괴롭힘 등 온라인상의 폭력·혐오를 예방하기 위해 기울이는 노력을 공유하면서 이와 관련해 도입한 새 기능을 발표했다.
인스타그램의 필립 추아 정책 아시아태평양(APAC) 총괄에 따르면 인스타그램은 안전한 플랫폼을 만들기 위해 커뮤니티 가이드라인을 운영하고 있으며, 머신러닝 인공지능(AI) 기술과 리뷰팀 인력을 동시에 적용하고 있다.
머신러닝 AI는 가이드라인을 위반하는 게시물을 찾아 자동으로 리뷰팀에 신고하며, 리뷰팀은 신고된 게시물을 연중무휴 리뷰해 적절히 조처한다.
추아 총괄은 이런 AI와 리뷰팀의 적절한 조화가 안전한 플랫폼의 핵심이라고 설명했다.
그는 "검토 정확도와 속도를 향상하기 위해 AI 기술을 개선하고 있지만, (게시물의) 앞뒤 맥락을 이해하는 데 있어 알고리즘은 아직 인간만큼 효율적이지 않기 때문에 콘텐츠 검토 프로세스의 중심에는 여전히 리뷰 인력이 있다"고 말했다.
인스타그램 리뷰팀은 신고가 들어온 콘텐츠를 검토해 정책 위반 여부를 결정하는데, 신고 내용에 상관없이 해당 콘텐츠가 인스타 정책 중 어느 하나라도 위반하는지를 판단한다.
'스팸 광고'라고 신고가 들어와도 스팸인지만 따지는 게 아니라 노출이 심하지는 않은지, 혐오 표현은 아닌지 등을 모두 검토하는 것이다.
신고 접수 게시물이 자살, 자해, 테러, 아동착취 등에 관한 이미지일 경우 리뷰팀은 사법기관 등 타 기관과 협력해 추가 조처를 내린다.
이런 시스템이 제대로 작동하려면 꼼꼼히 설계한 게시물 가이드라인과 주기적인 업데이트, 리뷰팀의 전문적인 트레이닝이 필수적이다.
인스타그램은 "정책 변화가 인스타그램 커뮤니티 전반에 미치는 영향을 평가하고 현재 문제시되는 이슈를 인지하고자 노력한다"며 "해당 분야 전문가들과 정책을 검토하고 업데이트한다"고 설명했다.
최근 인스타그램은 이 같은 절차를 거쳐 자해 관련 내용을 담은 콘텐츠를 더는 허용하지 않기로 결정했다.
추아 총괄은 "어려움을 겪는 이들이 마음의 상처를 치유하기 위해 자신을 표현하는 것과 그런 콘텐츠를 보게 될 이용자들에게 미칠 수 있는 부정적 영향력 간의 균형을 고민했다"며 "노골적인 자해 이미지는 의도치 않았더라도 자해를 조장할 가능성이 있다고 결론 내렸다"고 밝혔다.
앞으로 인스타그램에서 자해 관련 콘텐츠는 검색, 해시태그, 둘러보기 등의 탭에서 표시되지 않는다.
인스타그램은 자살·자해 관련 콘텐츠를 예방하는 데에 각국 기관과 협력하기로 했다. 한국에서는 중앙자살예방센터와 파트너십을 맺었다. 우울증 관련 대응을 위해 스텔라파운데이션·아이들과미래재단과도 협력하기로 했다.
추아 총괄은 인스타그램이 온라인 괴롭힘(사이버불링) 역시 집중적으로 모니터링하고 있다고 말했다.
그는 "온라인 괴롭힘은 그저 악의적인 댓글이나 이미지뿐 아니라, 수치스럽거나 모욕적인 발언, 협박, 의도적인 따돌림 등 다양한 형태로 존재한다"며 "이용자를 보호할 수 있는 다양한 기능과 AI 기술을 개발하고 있다"고 설명했다.
인스타그램은 최근 이용자가 다른 사람 게시글에 자신이 태그되는 것을 관리할 수 있도록 했는데, 이 기능에 괴롭힘 방지 목적이 있다.
추아 총괄은 "태그를 이용한 괴롭힘 사례가 있었다"면서 "이용자는 댓글이나 캡션, 스토리에 자신을 태그할 수 있게 할지, 자신을 팔로우하는 사람만 가능하게 할지, 아무도 태그할 수 없도록 할지 등을 직접 정할 수 있다"고 말했다.
인스타그램은 다이렉트 메시지(DM)에도 수신 가능 범위를 설정할 수 있도록 할 예정이며, 특정 이용자의 댓글을 해당 이용자 몰래 가리는 '제한하기' 기능도 도입한다고 덧붙였다.
hyo@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포 금지>
관련뉴스
