논란에 흔들리는 AI·인간 번역 대결…"평가 과정 불공정해"(종합)
네이버 "파파고 AI 기능 꺼진 상태서 번역"…주최 측 "제대로 했다"
시스트란도 반발…"문제 선정·채점 방식서 AI 특성 반영 안 돼"
(서울=연합뉴스) 김태균 기자 = 국내 최초로 벌어졌던 인공지능(AI)과 인간의 번역 대결이 평가 과정이 공정하지 못했다는 논란에 휩싸였다.
네이버가 주최 측이 번역기의 AI 기능을 차단했다고 항의한 데다 다른 관여 업체인 시스트란도 문제 선정과 채점 방식에서 불공정성을 지적하고 나섰다.
네이버는 21일 서울 세종대에서 열린 '인간 vs 인공지능 번역대결'에서 주최 측이 자사의 AI 번역 서비스 '파파고'에 문제 원문을 200자씩 끊어 넣지 않고 한 번에 넣었다고 22일 주장했다.
대회에 쓰인 영어·한국어 텍스트 4개는 모두 파파고의 AI가 한 번에 번역할 수 있는 한도인 200자를 넘는 분량이다.
PC 버전 파파고(네이버 번역기)는 이처럼 200자가 넘는 텍스트는 'AI 대신 구형 번역 기술이 적용된다'는 경고문을 보여주고 비(非) AI 방식으로 번역한다.
즉 200자 내외로 글을 끊어 넣지 않으면 AI 기능이 꺼진 저품질 번역이 나오게 돼 AI와 인간의 대결이라는 대회 취지에 어긋난다는 항변이다.
실제 연합뉴스가 파파고에 문제 4개를 원문 그대로 넣고 번역하자 주최 측이 제공한 AI 측 답안 3개(A·B·C) 중 하나인 'B 답안지'와 내용이 완전히 일치했다. 네이버의 주장이 사실일 가능성에 무게를 실어주는 결과다.
이와 관련해 대결을 주관한 세종대·세종사이버대·국제통번역협회 측은 "200자씩 끊어서 넣은 것이 확실하다"며 의혹을 부인했다.
주최 측의 한 관계자는 "네이버가 애초 200자를 넘기면 오류가 난다고 여러 번 강조해 정확하게 끊어서 넣었다"고 말했다. 이 관계자는 B 답안지가 전체 입력한 결과와 일치한다는 지적과 관련해서는 "왜 그런지 모르겠다"고 했다.
이번 대결에 참여한 다른 AI 번역기인 구글 번역기와 시스트란 번역기는 파파고와 같은 자수 제한은 없다.
시스트란도 주최 측에 평가 방식이 부당했다고 항의한 상태다.
시스트란 관계자는 "문제 중 하나인 영문 방송뉴스는 올해 2월10일자 기사라 사전에 누가 미리 봤을 개연성을 배제할 수 없다"며 "기사 내용도 장난감 회사 '레고'에 관한 것이라 AI가 많이 학습하는 주요 시사 기사와 거리가 있었다"고 지적했다.
이 관계자는 "평가 배점도 AI의 특성을 무시한 채 너무 사람에게 유리하게 되어 있다"며 "AI 번역은 뜻이 잘 전달되는지에 가중치를 많이 줘야 하는데 이런 기술적 특성은 무시되고 인간에게 유리한 논리·정확성·표현력 등의 평가 비중이 너무 높았다"고 주장했다.
21일 열린 대회에서는 인간 번역사가 한·영 번역에서 30점 만점에 24점, 영·한 번역에서 30점 만점에 25점 등 총 49점을 받았다.
반면 3개 AI 중 가장 점수가 좋았던 서비스는 한·영 13점, 영·한 15점으로 총점이 28점에 그쳤다. 다른 두 AI의 총점도 각각 15점과 17점으로 저조했다. 결국, 3개 AI의 평균 점수는 20점이었다.
주최 측은 3개 AI의 점수와 답안을 공개했지만 각 서비스가 어느 회사의 것이었는지에 대해서는 함구했다.
이번 대회는 시스트란만 직접 참여했고 구글과 네이버 측은 불참했다. 시험 문제나 평가 방식은 통번역 대학원의 관례를 따랐으며, 시스트란은 대회 운영 방안에 관여한 것이 없었다고 전했다. 대결 당시 파파고 등 번역기의 조작은 AI 전문가가 아닌 세종사이버대 영어과 교수들이 했다.
이 때문에 IT(정보기술) 업계에서는 통번역 관계자들로 구성된 주최 측이 AI 업계의 자문이나 면밀한 기술적 검토 없이 급히 대결을 진행하려다 말썽이 일어난 것 아니냐는 지적도 나온다.
구글코리아 관계자는 "번역대결 자체를 언론을 보고 알았을 정도다. 해당 행사와 회사는 전혀 관련이 없다"고 설명했다.
네이버 관계자는 "특정 문장이나 주제의 일부 번역 결과를 바탕으로 서비스 우위를 판단할 수 없다고 본다"며 "우리는 특히 AI 방식이 아닌 결과로 비교가 이뤄져 더 언급할 부분이 없다"고 말했다.
tae@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포 금지>
네이버 "파파고 AI 기능 꺼진 상태서 번역"…주최 측 "제대로 했다"
시스트란도 반발…"문제 선정·채점 방식서 AI 특성 반영 안 돼"
(서울=연합뉴스) 김태균 기자 = 국내 최초로 벌어졌던 인공지능(AI)과 인간의 번역 대결이 평가 과정이 공정하지 못했다는 논란에 휩싸였다.
네이버가 주최 측이 번역기의 AI 기능을 차단했다고 항의한 데다 다른 관여 업체인 시스트란도 문제 선정과 채점 방식에서 불공정성을 지적하고 나섰다.
네이버는 21일 서울 세종대에서 열린 '인간 vs 인공지능 번역대결'에서 주최 측이 자사의 AI 번역 서비스 '파파고'에 문제 원문을 200자씩 끊어 넣지 않고 한 번에 넣었다고 22일 주장했다.
대회에 쓰인 영어·한국어 텍스트 4개는 모두 파파고의 AI가 한 번에 번역할 수 있는 한도인 200자를 넘는 분량이다.
PC 버전 파파고(네이버 번역기)는 이처럼 200자가 넘는 텍스트는 'AI 대신 구형 번역 기술이 적용된다'는 경고문을 보여주고 비(非) AI 방식으로 번역한다.
즉 200자 내외로 글을 끊어 넣지 않으면 AI 기능이 꺼진 저품질 번역이 나오게 돼 AI와 인간의 대결이라는 대회 취지에 어긋난다는 항변이다.
실제 연합뉴스가 파파고에 문제 4개를 원문 그대로 넣고 번역하자 주최 측이 제공한 AI 측 답안 3개(A·B·C) 중 하나인 'B 답안지'와 내용이 완전히 일치했다. 네이버의 주장이 사실일 가능성에 무게를 실어주는 결과다.
이와 관련해 대결을 주관한 세종대·세종사이버대·국제통번역협회 측은 "200자씩 끊어서 넣은 것이 확실하다"며 의혹을 부인했다.
주최 측의 한 관계자는 "네이버가 애초 200자를 넘기면 오류가 난다고 여러 번 강조해 정확하게 끊어서 넣었다"고 말했다. 이 관계자는 B 답안지가 전체 입력한 결과와 일치한다는 지적과 관련해서는 "왜 그런지 모르겠다"고 했다.
이번 대결에 참여한 다른 AI 번역기인 구글 번역기와 시스트란 번역기는 파파고와 같은 자수 제한은 없다.
시스트란도 주최 측에 평가 방식이 부당했다고 항의한 상태다.
시스트란 관계자는 "문제 중 하나인 영문 방송뉴스는 올해 2월10일자 기사라 사전에 누가 미리 봤을 개연성을 배제할 수 없다"며 "기사 내용도 장난감 회사 '레고'에 관한 것이라 AI가 많이 학습하는 주요 시사 기사와 거리가 있었다"고 지적했다.
이 관계자는 "평가 배점도 AI의 특성을 무시한 채 너무 사람에게 유리하게 되어 있다"며 "AI 번역은 뜻이 잘 전달되는지에 가중치를 많이 줘야 하는데 이런 기술적 특성은 무시되고 인간에게 유리한 논리·정확성·표현력 등의 평가 비중이 너무 높았다"고 주장했다.
21일 열린 대회에서는 인간 번역사가 한·영 번역에서 30점 만점에 24점, 영·한 번역에서 30점 만점에 25점 등 총 49점을 받았다.
반면 3개 AI 중 가장 점수가 좋았던 서비스는 한·영 13점, 영·한 15점으로 총점이 28점에 그쳤다. 다른 두 AI의 총점도 각각 15점과 17점으로 저조했다. 결국, 3개 AI의 평균 점수는 20점이었다.
주최 측은 3개 AI의 점수와 답안을 공개했지만 각 서비스가 어느 회사의 것이었는지에 대해서는 함구했다.
이번 대회는 시스트란만 직접 참여했고 구글과 네이버 측은 불참했다. 시험 문제나 평가 방식은 통번역 대학원의 관례를 따랐으며, 시스트란은 대회 운영 방안에 관여한 것이 없었다고 전했다. 대결 당시 파파고 등 번역기의 조작은 AI 전문가가 아닌 세종사이버대 영어과 교수들이 했다.
이 때문에 IT(정보기술) 업계에서는 통번역 관계자들로 구성된 주최 측이 AI 업계의 자문이나 면밀한 기술적 검토 없이 급히 대결을 진행하려다 말썽이 일어난 것 아니냐는 지적도 나온다.
구글코리아 관계자는 "번역대결 자체를 언론을 보고 알았을 정도다. 해당 행사와 회사는 전혀 관련이 없다"고 설명했다.
네이버 관계자는 "특정 문장이나 주제의 일부 번역 결과를 바탕으로 서비스 우위를 판단할 수 없다고 본다"며 "우리는 특히 AI 방식이 아닌 결과로 비교가 이뤄져 더 언급할 부분이 없다"고 말했다.
tae@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포 금지>
관련뉴스
