[한경ESG] 이슈
‘책임 있는(responsible) AI’는 인공지능(AI) 시스템을 개발·배포 및 활용하는 과정에서 윤리적 원칙과 사회적가치에 부합하는 방식으로 접근해야 한다는 것을 의미하며, AI 기술이 사회적으로 유익하고 윤리적으로 건전한 방향으로 개발·이용되어야 함을 말한다.
경제협력개발기구(OECD), 유네스코(UNESCO) 등 국제기구에서 책임 있는 AI 원칙을 제시하고 있다. 2019년 5월에 채택된 OECD AI 원칙에는 ▲포용적 성장, 지속가능한 개발 및 웰빙 ▲인간 중심의 가치와 공정성 ▲투명성 및 설명 가능성 ▲견고성 및 안전성 ▲책임성이 포함된다. 2021년 유네스코 권고에는 인권, 환경 지속가능성, 포용성 그리고 투명성, 책임성, 대중 인식이 포함된다.
한국은 2019년 12월 ‘사람 중심의 AI 윤리 기준’에서 인간 존엄성 원칙, 사회의 공공선 원칙, 기술의 합목적성 원칙을 제시했는데 기술의 합목적성 원칙에는 데이터 관리, 책임성, 안전성, 투명성 및 설명 가능성 등이 포함된다.
이런 책임 있는 AI 원칙과 ESG(환경·사회·지배구조) 양자는 기업의 지속가능성과 윤리적 기술개발을 위한 핵심축이라는 점에서 상호 보완적이다. 기업이 책임 있는 AI 원칙을 준수하고, AI 시스템의 윤리적 개발 및 배포에 투자하면 이는 기업의 ESG 성과, 특히 사회 및 지배구조 측면에서 긍정적 영향을 미친다. 즉 대중의 신뢰를 얻고, 규제 준수 비용을 줄이며, 브랜드 이미지를 개선할 수 있다.
ESG를 갖춘 기업은 책임 있는 AI를 구현하는 데 필요한 조직문화, 거버넌스 구조, 자원 할당 및 이해관계자 참여 메커니즘을 이미 갖추고 있을 가능성이 크다. 따라서 ESG는 기업이 AI 관련 위험과 기회를 투명하게 공개하고 관리하는 데 도움을 줄 수 있다.
AI 기본법, AI 활성화 기반 만들까
올해 새 정부가 들어서면서 AI 활성화에 대한 기대가 높아지고 있다. 지난해 12월 제정된 한국의 AI 기본법은 EU AI Act에 이어 세계에서 두 번째로 제정된 포괄적·수평적 규제 입법으로서 산업 진흥과 규제를 동시에 고려하고 있다는 점에서 주로 AI 규제가 강한 EU법과는 다르다. 책임 있는 AI 실현을 위한 법의 주요 내용을 살펴보자.
우선 법은 AI를 3가지로 구분한다. ‘고영향 AI’는 사람의 생명, 신체 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI 시스템으로, 법에서 열거하는 영역 중 하나에 해당하는 경우를 의미한다. ‘생성형 AI’는 입력한 데이터 구조와 특성을 모방해 글, 소리, 그림, 영상 등 다양한 결과물을 생성하는 AI 시스템을 의미한다고 규정한다. 또 학습에 사용된 누적 연산량이 대통령령 기준 이상 AI 사업자는 고영향에 해당되지 않더라도 추가적 의무를 부여하고 이를 ‘고성능 AI’로 명명할 수 있는데, 소위 ‘범용 AI’가 여기에 포함된다.
둘째, 고영향 AI 사업자, 생성형 AI 사업자, 고성능 AI 사업자의 규제 내용을 살펴보자. 고영향 AI 사업자의 경우 1) 안전성·신뢰성 검·인증을 받도록 노력해야 한다. 2) 투명성 의무와 관련해 제품 또는 서비스가 AI에 기반해 운용된다는 사실을 이용자에게 미리 고지해야 한다. 3) AI가 고영향 AI에 해당하는지에 대해 사전에 검토해야 하며, 필요한 경우 과학기술정보통신부장관에게 고영향 AI에 해당하는지 여부를 확인 요청할 수 있다. 4) 위험관리 방안의 수립·운영, AI가 도출한 최종 결과에 대한 설명 방안의 수립·이행 등 안전성·신뢰성 확보를 위한 조치 의무를 이행해야 한다. 5) 사람의 기본권에 미치는 영향을 평가하기 위해 노력해야 한다.
생성형 AI 사업자는 1) 제품 또는 서비스가 AI에 기반해 운용된다는 사실을 이용자에게 사전 고지할 의무, 2) 제품 또는 서비스 제공 시 결과물이 AI에 의해 생성되었다는 사실을 표시할 의무, 3) 실제와 구분하기 어려운 가상 음향, 이미지 또는 영상 등의 결과물을 제공하는 경우(딥페이크) 해당 결과물이 AI 시스템에 의해 생성되었다는 사실을 이용자가 명확하게 인식할 수 있는 방식으로 고지 또는 표시할 의무가 있다.
이 외에도 AI 기술 연구 및 개발을 수행하는 사람이 소속된 교육·연구기관과 AI 사업자는 AI 윤리 원칙을 준수하기 위해 ‘민간자율인공지능윤리위원회’를 둘 수 있다. 위원회는 AI 기술 연구·개발·활용에 있어 윤리 원칙 준수 여부 확인, AI 기술 연구·개발·활용의 안전 및 인권침해 등에 관한 조사·연구, AI 기술 연구·개발·활용의 절차 및 결과에 관한 조사·감독 등을 수행한다. 이는 AI 기술의 투명성, 공정성을 보장하기 위한 자율적 거버넌스로서 의미가 있다.
법적 불확실성 제거해야
유럽연합(EU)법과 비교하면, 첫 번째 AI 구분을 ‘고위험’이 아닌 ‘고영향’으로 정의해 개념적 모호성이 있다. 이로 인해 수범자 확정에 상당한 법적 불확실성이 존재한다. 또 EU와 달리 금지되는 AI 규정이 없다. EU가 기본권에 명백한 위협으로 간주되는 특정 AI, 즉 공공장소에서의 실시간 생체 인식, 사회적 점수 부여 등을 금지하는 것과 달리 한국법은 이런 조항이 없어 잠재적 인권침해 우려가 있다.
AI의 결정으로 영향을 받는 개인에게 설명 및 이의 제기 권리가 도입되지 않은 점이나 국가안보 목적의 AI 시스템에 대해 법 적용이 제외된다는 점도 권리침해를 잠재적으로 정당화한다는 우려가 있다. 다만, 한편으로는 개념의 모호성이나 고영향 AI에 대한 과도한 안전 및 투명성 의무로 인해 AI 산업 혁신을 저해할 수도 있다는 비판이 거세다.
이런 문제가 발생한 원인은 법 제정을 위한 광범위한 공론화 과정이 부족했기 때문이다. EU의 6년간 숙고 과정을 비교할 때 단 몇 주 만에 법이 통과된 것은 AI 3대 강국 진입을 위해 법 제정이 시급하다는 요청이 반영된 것이나 이해관계자 참여의 불충분과 사회적 합의의 부족은 법의 정당성 결핍을 초래하는 것은 물론 법 집행의 실효성도 떨어뜨린다.
AI 기본법 제정은 완결된 형태가 아닌 지속적인 개선과 적응이 필요한 시작점으로 인식되어야 한다. 법적 명확성 및 구체성 강화, 인권 보호 및 안전성 확보 메커니즘 강화, 산업 활성화와 규제 간 균형 모색, 이해관계자 참여 확대 및 사회적 합의 도출이 필요하다. 특히 기술의 발전 속도와 복잡성을 고려할 때 정부, 산업계, 학계, 시민사회를 아우르는 모든 이해관계자 간 긴밀한 협력을 통해 법 개선을 논의할 필요가 있다.
이성엽 고려대 기술경영전문대학원 교수, 기술법정책센터장
‘책임 있는(responsible) AI’는 인공지능(AI) 시스템을 개발·배포 및 활용하는 과정에서 윤리적 원칙과 사회적가치에 부합하는 방식으로 접근해야 한다는 것을 의미하며, AI 기술이 사회적으로 유익하고 윤리적으로 건전한 방향으로 개발·이용되어야 함을 말한다.
경제협력개발기구(OECD), 유네스코(UNESCO) 등 국제기구에서 책임 있는 AI 원칙을 제시하고 있다. 2019년 5월에 채택된 OECD AI 원칙에는 ▲포용적 성장, 지속가능한 개발 및 웰빙 ▲인간 중심의 가치와 공정성 ▲투명성 및 설명 가능성 ▲견고성 및 안전성 ▲책임성이 포함된다. 2021년 유네스코 권고에는 인권, 환경 지속가능성, 포용성 그리고 투명성, 책임성, 대중 인식이 포함된다.
한국은 2019년 12월 ‘사람 중심의 AI 윤리 기준’에서 인간 존엄성 원칙, 사회의 공공선 원칙, 기술의 합목적성 원칙을 제시했는데 기술의 합목적성 원칙에는 데이터 관리, 책임성, 안전성, 투명성 및 설명 가능성 등이 포함된다.
이런 책임 있는 AI 원칙과 ESG(환경·사회·지배구조) 양자는 기업의 지속가능성과 윤리적 기술개발을 위한 핵심축이라는 점에서 상호 보완적이다. 기업이 책임 있는 AI 원칙을 준수하고, AI 시스템의 윤리적 개발 및 배포에 투자하면 이는 기업의 ESG 성과, 특히 사회 및 지배구조 측면에서 긍정적 영향을 미친다. 즉 대중의 신뢰를 얻고, 규제 준수 비용을 줄이며, 브랜드 이미지를 개선할 수 있다.
ESG를 갖춘 기업은 책임 있는 AI를 구현하는 데 필요한 조직문화, 거버넌스 구조, 자원 할당 및 이해관계자 참여 메커니즘을 이미 갖추고 있을 가능성이 크다. 따라서 ESG는 기업이 AI 관련 위험과 기회를 투명하게 공개하고 관리하는 데 도움을 줄 수 있다.
AI 기본법, AI 활성화 기반 만들까
올해 새 정부가 들어서면서 AI 활성화에 대한 기대가 높아지고 있다. 지난해 12월 제정된 한국의 AI 기본법은 EU AI Act에 이어 세계에서 두 번째로 제정된 포괄적·수평적 규제 입법으로서 산업 진흥과 규제를 동시에 고려하고 있다는 점에서 주로 AI 규제가 강한 EU법과는 다르다. 책임 있는 AI 실현을 위한 법의 주요 내용을 살펴보자.
우선 법은 AI를 3가지로 구분한다. ‘고영향 AI’는 사람의 생명, 신체 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI 시스템으로, 법에서 열거하는 영역 중 하나에 해당하는 경우를 의미한다. ‘생성형 AI’는 입력한 데이터 구조와 특성을 모방해 글, 소리, 그림, 영상 등 다양한 결과물을 생성하는 AI 시스템을 의미한다고 규정한다. 또 학습에 사용된 누적 연산량이 대통령령 기준 이상 AI 사업자는 고영향에 해당되지 않더라도 추가적 의무를 부여하고 이를 ‘고성능 AI’로 명명할 수 있는데, 소위 ‘범용 AI’가 여기에 포함된다.
둘째, 고영향 AI 사업자, 생성형 AI 사업자, 고성능 AI 사업자의 규제 내용을 살펴보자. 고영향 AI 사업자의 경우 1) 안전성·신뢰성 검·인증을 받도록 노력해야 한다. 2) 투명성 의무와 관련해 제품 또는 서비스가 AI에 기반해 운용된다는 사실을 이용자에게 미리 고지해야 한다. 3) AI가 고영향 AI에 해당하는지에 대해 사전에 검토해야 하며, 필요한 경우 과학기술정보통신부장관에게 고영향 AI에 해당하는지 여부를 확인 요청할 수 있다. 4) 위험관리 방안의 수립·운영, AI가 도출한 최종 결과에 대한 설명 방안의 수립·이행 등 안전성·신뢰성 확보를 위한 조치 의무를 이행해야 한다. 5) 사람의 기본권에 미치는 영향을 평가하기 위해 노력해야 한다.
생성형 AI 사업자는 1) 제품 또는 서비스가 AI에 기반해 운용된다는 사실을 이용자에게 사전 고지할 의무, 2) 제품 또는 서비스 제공 시 결과물이 AI에 의해 생성되었다는 사실을 표시할 의무, 3) 실제와 구분하기 어려운 가상 음향, 이미지 또는 영상 등의 결과물을 제공하는 경우(딥페이크) 해당 결과물이 AI 시스템에 의해 생성되었다는 사실을 이용자가 명확하게 인식할 수 있는 방식으로 고지 또는 표시할 의무가 있다.
이 외에도 AI 기술 연구 및 개발을 수행하는 사람이 소속된 교육·연구기관과 AI 사업자는 AI 윤리 원칙을 준수하기 위해 ‘민간자율인공지능윤리위원회’를 둘 수 있다. 위원회는 AI 기술 연구·개발·활용에 있어 윤리 원칙 준수 여부 확인, AI 기술 연구·개발·활용의 안전 및 인권침해 등에 관한 조사·연구, AI 기술 연구·개발·활용의 절차 및 결과에 관한 조사·감독 등을 수행한다. 이는 AI 기술의 투명성, 공정성을 보장하기 위한 자율적 거버넌스로서 의미가 있다.
법적 불확실성 제거해야
유럽연합(EU)법과 비교하면, 첫 번째 AI 구분을 ‘고위험’이 아닌 ‘고영향’으로 정의해 개념적 모호성이 있다. 이로 인해 수범자 확정에 상당한 법적 불확실성이 존재한다. 또 EU와 달리 금지되는 AI 규정이 없다. EU가 기본권에 명백한 위협으로 간주되는 특정 AI, 즉 공공장소에서의 실시간 생체 인식, 사회적 점수 부여 등을 금지하는 것과 달리 한국법은 이런 조항이 없어 잠재적 인권침해 우려가 있다.
AI의 결정으로 영향을 받는 개인에게 설명 및 이의 제기 권리가 도입되지 않은 점이나 국가안보 목적의 AI 시스템에 대해 법 적용이 제외된다는 점도 권리침해를 잠재적으로 정당화한다는 우려가 있다. 다만, 한편으로는 개념의 모호성이나 고영향 AI에 대한 과도한 안전 및 투명성 의무로 인해 AI 산업 혁신을 저해할 수도 있다는 비판이 거세다.
이런 문제가 발생한 원인은 법 제정을 위한 광범위한 공론화 과정이 부족했기 때문이다. EU의 6년간 숙고 과정을 비교할 때 단 몇 주 만에 법이 통과된 것은 AI 3대 강국 진입을 위해 법 제정이 시급하다는 요청이 반영된 것이나 이해관계자 참여의 불충분과 사회적 합의의 부족은 법의 정당성 결핍을 초래하는 것은 물론 법 집행의 실효성도 떨어뜨린다.
AI 기본법 제정은 완결된 형태가 아닌 지속적인 개선과 적응이 필요한 시작점으로 인식되어야 한다. 법적 명확성 및 구체성 강화, 인권 보호 및 안전성 확보 메커니즘 강화, 산업 활성화와 규제 간 균형 모색, 이해관계자 참여 확대 및 사회적 합의 도출이 필요하다. 특히 기술의 발전 속도와 복잡성을 고려할 때 정부, 산업계, 학계, 시민사회를 아우르는 모든 이해관계자 간 긴밀한 협력을 통해 법 개선을 논의할 필요가 있다.
이성엽 고려대 기술경영전문대학원 교수, 기술법정책센터장
관련뉴스
