인공지능을 사회에서 받아들이기 위한 조건

문용식(한국지능정보사회진흥원 원장)

인공지능과 어떻게 공존할 것인가 인공지능의 의사결정 지원을 신뢰할 수 없다면 어떻게 될까? 이 책은 국내 최초로 최근 인공지능 논란의 핵심으로 떠오른 신뢰성 문제를 본격적으로 다루고 있다. 그럼 왜 지금 인공지능의 신뢰성이 문제인가? 인공지능 기술이 일상생활, 기업활동, 사회 시스템에 활용되면서 과거 전문 영역에서 사용하던 차원과는 다른 일들이 일어나기 시작했기 때문이다. 인공지능 자체에 여러 가지 취약점이 있다는 것이 밝혀지면서 해킹 가능성이나 오류 발생의 문제가 사회 구성원 전체에게 미칠 영향이 크다는 것을 알게 된 것이다. 인공지능이 인류에게 유익하게 사용돼야 한다는 것에는 모두 다 동의한다. 그런데 어떻게 그렇게 할 것인가에 대한 논의는 없다. 지금 우리가 인공지능의 신뢰성에 대해 논의해야 하는 이유이다.

들어가는 글

1장 인공지능의 신뢰성

1. 왜 인공지능의 신뢰성이 중요한 이슈인가

2. 우리가 주목해야 할 원칙과 기준은 무엇인가
아실로마 23원칙 / 유럽연합 집행위원회의 가이드라인과 프레임워크 / 경제협력개발기구의 인공지능 원칙 / 유럽연합의 인공지능 법 초안과 추가 전략들 / 그 외 기관들이 만든 원칙 또는 선언문 / 국내의 접근

3. 주요 테크 기업은 신뢰성에 어떻게 대응하는가
구글의 책임감 있는 인공지능 정책 / 마이크로소프트의 인공지능 원칙 / IBM의 신뢰할 수 있는 인공지능 / 페이스북의 책임감 있는 인공지능 / 국내 기업의 경우: 카카오, 네이버, 삼성전자

4. 마치며

2장 인공지능의 공정성

1. 왜 내 얼굴은 잘 인식하지 못하는가

2. 왜 언어 처리에서 불공정성이 생기는가

3. 왜 나에 대한 인공지능 평가가 불공정한가

4. 인공지능은 감시사회를 만들 것인가

5. 주요 테크 기업은 공정성에 어떻게 대응하는가

6. 마치며

3장 인공지능의 윤리성

1. 철학, 인지과학, 심리학에서는 어떻게 논의되고 있는가

2. 학자들의 인공지능 윤리 연구는 어떻게 되고 있는가
초기의 연구들 / 윤리적 딜레마 / 개별적 윤리 결정 / 집단적 윤리 결정

3. 인공지능 윤리 연구의 주요 그룹은 무엇이 있는가

4. 마치며

4장 인공지능의 투명성과 설명 가능성

1. 왜 인공지능의 투명성이 필요한가

2. 인공지능의 투명성 연구는 어떻게 되고 있는가

3. 주요 테크 기업은 투명성에 어떻게 대응하는가

4. 마치며

5장 인공지능의 견고성과 안전성

1. 왜 적대적 머신러닝이 위험한가

2. 왜 자율주행차는 사고를 일으키는가

3. 로봇이 일으키는 사건들은 무엇이 있는가

4. 딥페이크의 문제는 무엇이고 어떻게 대응해야 하는가

5. 주요 연구 그룹은 안전성 연구를 어떻게 하는가

6. 마치며

나오는 글
미주

인공지능 예측에 대한 신뢰 문제에는 학습 데이터의 부족이나 왜곡, 불완전한 기술 등 다양한 원인이 있다. 다시 말해 학습 데이터의 편향과 왜곡에 의한 편견, 예측이나 판단 결과가 사회 규범이나 가치 기준에 맞지 않는 부적합성, 전체 예측 과정의 불투명성, 일부 적대적 입력 데이터에 대한 취약성, 안전성에 대한 신뢰 문제 등과 결과에 관한 책무성을 누가 어떻게 책임져야 하는가 등 여러 측면의 문제가 드러났고 이를 해결해야 한다는 인식이 점점 높아지고 있다.우리가 인공지능의 의사결정 지원을 신뢰할 수 없다면 어떻게 될까? 우리가 지금 많은 발전을 보고 놀라워하고 감탄하는 인공지능 기술을 과연 사회의 다양한 현장에서 실제로 활용할 수 있을지에 대해서 의문을 가질 수밖에 없다. 이 문제를 해결하거나 최소화하는 것이 기술적으로 가능해야 한다. 그래야 우리는 이러한 기술을 통해 새로운 가치와 이익을 얻을 수 있다.-p. 19인공지능의 신뢰성은 단지 프레임워크를 디자인하고 방향을 제시하는 것만으로 충분하지 않다. 실제 시스템에 구현하고 검증할 수 있는 기술이 개발되지 않는다면 단순한 구호에 그칠 것이다. 지금까지 살펴본 신뢰할 수 있는 인공지능을 위한 다양한 가이드라인은 그냥 가이드라인일 뿐이다. 이를 구체적으로 구현해 준수하고 그 내용과 준수 여부를 확인하기 위한 기술적 노력이 필요하다. 그래서 이제 원칙에 관한 논의는 그만하고 기술 연구를 본격적으로 진행해야 한다는 의견이 나오고 있다. 이 책이 추구하는 방향도 같다. -p. 61조이 부올람위니Joy Buolamwini는 미시시피에서 자라서 조지아공과대학교에서 컴퓨터 사이언스를 공부했다. 어릴 때부터 MIT의 키스멧Kismet 소셜 로봇에 영감을 받아서 연구하던 중 이해하기 어려운 사실을 알게 됐다. 그녀가 다루는 로봇이 피부가 밝은 사람에 비해 자신을 잘 인식하지 못했던 것이다. 나중에 홍콩에 가서 다루게 된 다른 소셜 로봇에서도 같은 문제를 발견했다. 그 원인을 찾아본 결과 여러 로봇이 얼굴 인식에 같은 오픈소스 코드를 사용하는 것을 알게 됐다.그녀는 미디어랩 연구원이 된 뒤에도 똑같은 문제에 부딪혔다. 더욱이 흰색 마스크를 쓰면 더 인식이 잘 되는 것을 발견했다. 이 문제를 그대로 두면 안 된다고 생각했다. 그래서 알고리드믹 저스티스 리그3라는 조직을 만들었다. 2017년 초에 영화 「히든 피겨스」 제작자들은 그녀를 지원하기 위해 5만 달러의 장학금을 제공했다.4 사람들은 그녀가 코드로 작성된 차별에 대항하는 것으로 판단했다.-pp. 69~70“우리는 장벽을 지을 예정이고 멕시코가 비용을 지급할 것이다.”“나는 정말 페미니스트가 싫다. 그들은 모두 죽어야 하고 지옥 불에 태워야 한다.”“히틀러는 옳았고 나는 유대인을 증오한다.”2016년 3월 23일 마이크로소프트는 트위터에 ‘테이Tay’19라는 인공지능 챗봇을 소개했다. 그런데 테이가 사람들과 트윗을 주고받는 과정에서 갑자기 인종차별적이고 성차별적이며 폭력적인 트윗을 내놓았다. 마이크로소프트는 테이를 소개한 지 16시간 만에 서비스 중단을 선언했다.마이크로소프트의 인공지능 챗봇 테이가 어떠한 배경지식이나 판단 기준을 갖지 않은 상태로 시작했다가 바로 서비스를 중단한 것은 준비되지 않은 인공지능 알고리듬이나 서비스가 얼마나 쉽게 편견과 차별을 만들어낼 수 있는가를 잘 보여준 사례다. 마이크로소프트가 테이의 부적절한 행위에 대해 어떤 처리나 방어를 하도록 디자인하지 않았기 때문이다.-pp. 75~76최근 유럽의 배달 서비스인 딜리버루는 인공지능 평가 시스템 ‘프랭크Frank’를 이용해 라이더의 근태 등을 평가했다. 이에 대해 이탈리아 법원은 이 시스템이 무단결근과 노동법상 차별 금지 사유에 해당하는 질병이나 파업 등에 따른 결근을 구별하지 않고 평점에 반영해 라이더들에게 페널티를 줬다는 점을 문제 삼았다. 프랭크가 노동자의 파업권 등을 침해한다며 소송을 낸 이탈리아 노동총연맹의 손을 들어준 법원은 1인당 5만 유로의 손해 배상금을 지급하라고 판결했다. 딜리버루의 평가 시스템은 회사의 가치 판단이 반영된 일종의 취업 규칙이며 알고리듬이나 인공지능 기술에 판단을 맡기는 것으로 차별 행위의 책임에서 벗어날 수 없다고 판단한 것이다.-p. 80인공지능 윤리에 대해서 우리가 얘기하기 위해서는 인간 사회의 윤리 원칙과 기준이 다양한 분야에서 어떻게 연구돼왔는지를 알아야 한다. 이는 근본적으로 인공지능 연구자가 철학자, 윤리학자, 인지과학자, 심리학자 등과 함께 논의하고 검토해야 할 사안이기 때문이다. 윤리학은 인류 사회 초기부터 논의된 가장 오래된 학문이다. 인공지능 연구자가 이를 다 이해하고 연구의 기반으로 삼기는 쉽지 않다. 그러나 인공지능 연구자가 상식적으로 파악하거나 자신의 연 구 기반으로 삼아야 하는 중요한 관련 연구 흐름을 알아둘 필요가 있다. -p. 117

인공지능의 신뢰 문제는 미래의 일이 아니라 지금의 일이다!“인공지능! 인공지능! 인공지능!” 모두가 앞다투어 미래를 이끌어갈 핵심 기술이라고 하면서 인공지능 개발에 박차를 가하고 있다. 모든 산업에 인공지능이 활용되고 있다. 그런데 그러면서 중요한 한 가지 질문이 생겼다. “그런데 그 인공지능을 신뢰할 수 있나요? 만약 그 인공지능을 신뢰할 수 없다면 어떻게 되는 거죠?”지금 인공지능 신뢰 문제는 곳곳에서 일어나고 있다. 예를 들면 얼굴 인식이 인종과 성별의 차이로 됐다거나 금융, 복지, 채용에서 프로그램에 의한 판정이 자신에게 부당하게 처리됐다고 여겨도 그 과정이 제대로 설명되지 못하고 있다. 왜 네이버나 유튜브에서 뉴스나 영상 콘텐츠를 추천하는지, 왜 내가 보는 검색 결과는 다른 사람과 다른지, 과연 인공지능을 얼마나 신뢰할 수 있는지 의심하기 시작한 것이다. 자율주행이나 의료 진단, 치료 방식 제안의 경우 인공지능이 제시하는 결정이 윤리적으로 올바르고 사회적으로 용납될 수 있을 것인가 하는 딜레마에 빠질 수도 있다. 따라서 이제 우리는 인공지능의 원칙은 그만 얘기하고 실제 적용할 기술을 통해 신뢰 문제를 해결해야 한다! 데이터와 알고리듬 등 인공지능의 신뢰성이 기술적으로도 구현돼야 한다. 이미 해외에서는 이미 인공지능의 신뢰성과 관련해 학계, 기업, 정부 등 각 분야에서 다양한 논의가 이루어지고 있다. 그러나 국내에 인공지능 신뢰성과 관련해 다학제적이고 종합적인 논의가 제대로 이루어지지 못하고 있다. 그런 점에서 이 책은 국내 최초로 인공지능의 신뢰성에 대한 다학제적이고 기술적 구현에 관한 논의의 출발점이 될 모멘텀을 제공하고 있다.인공지능의 공정성, 윤리성, 투명성과 설명 가능성, 견고성과 안전성을 논의하자이 책은 여러 인공지능 원칙을 ‘신뢰’라는 하나의 주제로 묶었고 다시 4개의 주제인 인공지능의 공정성, 윤리성, 투명성과 설명 가능성, 견고성과 안전성으로 나누어 심도 있게 논의한다. 총 5장으로 구성돼 있다. 우선 1장에서는 왜 인공지능의 ‘신뢰성’이 중요한 이슈인지, 학계와 산업계가 신뢰성과 관련해서 어떤 노력을 하는지, 우리가 주목해야 할 주요 원칙과 가이드라인은 무엇인지, 주요 기업의 접근 방식과 현황은 어떤지 다루고 있다.2장에서는 지난 몇 년 동안 사회적으로 가장 예민한 이슈가 된 ‘공정성’ 문제를 다루고 있다. 현재 기업들이 가장 민감하게 반응하는 주제로서 불공정을 완화하기 위해 개발된 다양한 도구와 기술을 소개하고 있다. 공정성은 사회 구성원이 동의하는 공통 기반이 무엇이고 어떤지 표가 기준인지에 따라 매우 다양한 결과를 보일 수 있는 주제이다.3장에서는 인공지능의 ‘윤리성’ 문제를 다루고 있다. 이는 가장 오래된 주제이며 접근하기 쉽지 않은 문제이다. 어떤 것이 윤리적으로 올바른 판단인가를 누가 어떻게 정할 것인가와 함께 과연 인공지능이 도덕적 판단을 하는 개체가 되는 것이 맞는가를 동시에 질문해야 하기 때문이다. 윤리적인 인공지능에는 아주 다양한 차원의 이슈와 여러 연구 결과가 있다. 하지만 아직 실제로 활용할 수준은 아니다. 앞으로 우리가 무슨 연구를 더 해야 하는가를 함께 고민해보고 있다.4장에서는 인공지능 시스템의 알고리듬과 모델의 ‘투명성’ 문제를 소개하고 있다. 여기에서의 투명성은 기업에서 주요 의사결정의 투명성이나 정부 또는 법 집행기관과의 관계에서의 투명성과는 조금 다른 개념이다. 투명성에서 가장 문제시되는 설명 가능성 기능은 우리가 인공지능을 사용하는 영역에 따라 필수적일 수도 있고 아닐 수도 있다. 하지만 많은 사람이 직접 접하는 금융, 채용, 공공서비스 영 역에서는 매우 중요한 기능이다. 따라서 이 연구는 매우 활발하게 이루어지고 있다. 앞으로 인공지능 서비스에 투명성을 포함하지 않는다면 기업이나 기관에서 서비스로 채택되기 쉽지 않을 것이다. 5장에서 다룬 ‘견고성과 안전성’은 우리가 사용하는 인공지능이 가진 취약성이다. 인공지능의 판단을 어디까지 믿을 수 있으며 사용자들의 안전과 시스템 보안을 위해 어떤 상황이 이루어지는지 소개하고 있다. 인공지능 시스템이 아주 간단한 속임수로도 잘못된 판단을 할 수 있다는 것이 알려지면서 국방과 같은 미션 크리티컬mission critical 분야에서 매우 민감한 주제가 됐다. 또한 자율주행차처럼 사람의 안전 문제가 중요한 영역에서 인공지능의 판단이 얼마나 안전한지와 이를 검증하기 위한 노력에 대해 다루고 있다.