인간의 삶에 영향을 미치는 결정을 내릴 때 기계의 역할이 계속 커짐에 따라 기계를 이용한 이러한 의사결정 과정을 설명하는 것이 더욱 중요해질 것입니다.

Why Not Lab의 운영자이며 디지털 시대의 글로벌 노동자 권리 옹호자인 크리스티나 J. 콜클로프(Christina J.Colclough) 박사는 “우리는 이러한 시스템을 도입하거나 이러한 시스템에 대한 신뢰를 구축하기 위해 노력해야 합니다.” 라고 말합니다. “그리고 이것을 실현하려면 투명성, 공정성 및 감사 가능성의 요건이 필요하며, 이를 통해 나에 대해 나보다 더 많이 알고 있는 이 알고리즘 시스템이 나를 제어한다는 느낌을 주지 않도록 하는 것입니다.”

본질적으로 기업은 “블랙박스”를 열고 내부에서 일어나는 일을 소비자와 규제 기관에게 알림으로써 AI의 권장사항이 공정하고 정확하며 신뢰할 수 있는지 또는 개인이나 사회의 최선의 이익을 위한 것인지 판단할 수 있도록 해야 합니다.

“강력한 대상에 대해 늘 그렇듯이 사람들이 그것을 보지도 이해하지도 못할 때 결국 두려워하게 되고 , 피하게 됩니다.” 시바난다는 덧붙입니다. “기술을 사용하여 AI 기반 경험을 구축할 때 설명 가능성 구현을 확보하는 것이 중요합니다. 고객은 제품에 무슨 일이 일어났는지 알 수 있어야 하고 … 경험 및 플랫폼은 왜 그런 선택을 했는지 설명할 수 있어야 합니다.”

이러한 기능는 AI 시스템의 결정이 삶과 죽음의 문제가 될 수 있는 의료와 자율 주행과 같은 영역에서 점점 더 중요해지고 있습니다. 구글과 IBM을 비롯한 많은 회사는 이미 이 분야에 대해 약속을 했습니다.
우리가 설명 가능성에 접근하는 범위는 개인정보 보호, 보안 및 정확성에 대한 필요에 따라 균형을 맞추기 위해 다양해질 것입니다. 너무 많이 공개하면 시스템이 피해를 입거나 손상될 수 있을까요? 그러나 설명 가능성을 다루기 위해 어느 정도 노력하지 않는다면 개발자는 질문과 비판에 노출될 것입니다.

따라서 설명 가능성은 의사결정 과정에 인간을 배치할 때 도움이 됩니다. 먼저 의사결정 방식을 이해한 다음 필요한 맥락을 제공하여 사용자가 AI 경험을 더욱 세분화하고 최적화하도록 합니다. 그 결과 사용자는 AI의 조언에 대하여 일상적인 활동에 대한 것뿐만 아니라 중요한 의료문제 또는 자율적 결정이 자신의 웰빙에 크게 영향을 미치는 기타 영역 등 더욱 심각한 문제에 대해서도 더 신뢰할 수 있게 됩니다.

AI는 진보를 통해 사용자의 생활에 원활한 가치를 더하는 방법을 지속적으로 학습하면서 더욱 보편화될 것입니다. 지역적 맥락 및 외부 지식 소스를 사용하는 이 “목적 중심 AI”는 사용자의 경쟁 요구와 이익 사이에서 균형을 유지하고 사용자 행동에 영향을 주어 더 높은 목적을 달성하기 위해 창의적인 접근방식을 취할 수 있습니다.

그러나 이를 달성하기 위한 기술적 고려사항, 그리고 더 중요한 윤리적 고려 사항은 인간 본질의 핵심을 공격합니다.
사용자에게 AI 기반 삶을 채택하도록 요구하면서 그 복잡성을 이해하려면 자신을 살펴보면 됩니다. 우리는 직장, 집, 친구, 직업 관련 네트워크의 사람들을 대면할 때와 식료품점, 취업 면접, 휴가 등 상황에 따라 다른 페르소나(모습)를 보이게 됩니다. AI는 이러한 각 페르소나 내부의 경계를 염두에 두고 사용자를 돕는 방식으로 수행해야 합니다. 그러나 직장과 가정 생활 사이를 넘나들거나 공공연하게 상업적이거나 미묘하게 악의적 방식으로 권고함으로써 반드시 사용자의 삶을 크게 변경하거나 영향을 줄 필요는 없습니다.

“인권과 더불어 진정 인간의 권리라고 부르는 것을 유지하려면 어떻게 해야 합니까?” 콜클로(Colclough) 박사는 묻습니다. “인간의 상품화를 피하려면 어떻게 해야 할까요? 그저 수많은 데이터 포인트와 알고리즘에 효과를 주는 요소로 보지 않고, 아름다움, 나쁜 면과 좋은 면을 가진 인간으로 볼 수 있을까요? 극도로 디지털화된 세상에서 의미있고, 사랑 받고, 존중 받으려면 어떻게 해야 할까요?”

이를 위해 공급 또는 가치 사슬 등 데이터의 내외부 입출력을 모두 고려할 수 있습니다. 상황, 감정, 사실, 개인, 상업, 문화 등의 데이터 스트림은 단일 또는 상호 연결된 도로를 통해 무수한 소스에서 현재 직장, 가정 및 여가 생활 주변의 AI 지원 제품에 전달됩니다. 기본적으로 알고리즘과 그 배후의 개발자가 소비자의 삶을 관리할 수 있게 하려면 소비자의 신뢰 수준이 매우 높아야 합니다.

소비자 기술이 광범위하게 채택되는 원인은 접근성, 가격, 인지된 이점 및 아마도 가장 중요한 사용 용이성을 비롯한 여러 요인과 관련이 있습니다. 컴퓨터 공학 학위가 없어도 확실히 새로운 기술을 사용할 수 있는 경우, 개인용 컴퓨터에서부터 스마트폰, 인터넷에 이르기까지 소비자들은 새로운 기술로 몰려듭니다.

회사의 제품에 대한 신뢰, 나아가 회사 자체에 대한 신뢰를 얻으려면 제품이 믿을만하고 직관적이며 작동이 간편해야 한다는 요즘 소비자들의 기대에 대해 부응하는지에 달려있습니다. 그건 내기에 거는 돈과 같습니다.

우리 삶에 들어온 AI 지원 제품 및 서비스의 진화는 소비자 채택에 새로운 문제를 제기합니다. AI가 진정 우리 삶의 어느 곳에나 존재하려면 현재 우리가 기술과 상호작용할 때의 방해요소, 즉 키보드, 마우스, 클릭, 검색, 전원 코드 및 우리를 기계나 장소에 묶어두는 기타 모든 것들로부터 진화해야 합니다. 이제 우수한 AI 경험의 핵심은 음성 및 대화형 AI, 다양한 소스에서 모든 개인 데이터와 습관을 정확하게 수집하고 분석하는 백엔드 시스템입니다.

가트너(Gartner)의 연구에 따르면 응답자의 70%는 안전한 거래를 위해 AI가 생체 신호를 분석하고 음성 및 얼굴 특징을 식별하는 것에 대해 편안함을 느낍니다. 그러나 응답자의 52%는 자신의 감정을 이해하기 위해 AI가 얼굴 표정을 분석하는 것을 원하지 않으며, 63%는 자신을 더 잘 파악하기 위해 AI가 상시 경청 방식을 택하는 것을 원하지 않습니다. 그러면 뇌-컴퓨터 인터페이스에 대해서도 유사한 유보 사항이 있다고 가정할 수 있습니다.

포지(Poggi)는 다음과 같이 말합니다. “사람들은 자신의 데이터가 적절하게 처리되어 악의적이거나 잘못된 의도에 사용되지 않도록 확인하고 싶을 것입니다. 그리고 사람들은 분명히 개인 데이터에 매우 민감합니다. 이것은 실제로 훨씬 더 개인적인 것이기 때문에 우리는 한 번도 경험해 보지 않은 길을 가고 있습니다. 우리가 요구하는 데이터는 이름, 주소, 주민등록번호뿐 아니라 이제 얼굴을 탐색하거나 목소리를 듣기 때문에 분명히 조금 더 긴밀한 것입니다.”

“향후 중요한 과제는 고품질 AI 엔진을 구축하기 위해 막대한 양의 개인 데이터를 수집해야 하고 이와 동시에 고도의 개인존중 방식으로 해당 데이터를 다뤄야 하는 현실에 직면하는 것입니다.”
그렇다면 개발자와 디자이너는 이 격차를 어떻게 메울까요?

이론적으로 볼 때, 대화형 AI는 현재 기술의 상호작용 방식보다 더 개인적인 1:1 경험을 제공해야 합니다. 잘못된 설계, 최소한의 투명성, 일반적으로 사용자(인구통계, 지역, 문화)를 파악하지 못하는 열악한 의사 소통은 고객의 욕구와 욕망을 예상하기 위해 충분한 시간을 쏟지 않았다는 것을 보여줍니다. 결과적으로 소비자는 AI를 외면하거나 AI 경험을 극대화하기 위해 표준 이하의 데이터를 제공할 것입니다.

“흥미로운 결과를 제공할 수 있는 매우 효과적인 AI 엔진을 갖기 위해서는 사람들과 그들의 경험에 대한 많은 데이터가 필요합니다.”라고 포기(Poggi)는 덧붙입니다. “예를 들면 생체 데이터와 음성 데이터가 필요하고, 얼굴 인식을 위한 시각 데이터가 필요합니다. 이러한 모든 센서는 해당 데이터로 인해 잘못된 결정을 내리지 않도록 반복 가능하고 강력하며 신뢰할 수 있는 방식으로 데이터를 제공해야 합니다. 이러한 입력 장치의 품질 진화는 인본주의적인 방식으로 성공적인 AI 전파를 지원하기 위한 핵심 요소가 될 것이라고 생각합니다.”

수세기 동안 인간은 직장에서 생산성을 높이고 가정에서는 더 행복해지기 위해 도구와 기계를 만들어왔고 이러한 도구와 기계의 주인이었습니다. 오늘날 이러한 관계가 변화함에 따라 우리는 역사적으로 특수한 순간에 살고 있습니다. 기계는 이제 우리 삶에서 훨씬 더 역동적인 부분을 차지할 힘이 생겼습니다.

AI 제품 및 시스템은 사용자를 이해하고 학습하는 데 데이터, 즉 개인 데이터가 필요합니다. 사용자가 이 정보를 공유하는 것을 꺼리거나 너무 많은 것을 포기하지 않도록 자신을 보호하기 위해 “조작”을 한다면 삶에서 AI의 완전한 잠재력을 결코 깨닫지 못할 것입니다. 진정으로 우수한 AI 제품을 만들고 제공하려는 회사의 최선의 계획은 가장 인간적인 특성(신뢰 능력 여부)에 따라 성공할 수도 실패할 수도 있습니다.

여기서 핵심은 투명성일 것입니다. 최고 수준의 기업은 자사가 하는 일, 하지 않는 일, 하는 이유에 대해 매우 진솔한 대화를 나눌 필요가 있습니다. 소비자는 회사의 행동 이면에 있는 철학, 신뢰를 요구하는 알고리즘 개발의 기준 프레임, 일이 잘못되었을 때의 방침을 이해해야 합니다.

소비자는 수집되는 데이터, 수집 대상, 보관 위치, 사용 및 재사용 방법을 알아야 합니다. 기업은 발생할 실수를 인정하고 받아들여야 하며 이러한 실수를 어떻게 시정할 것인지 명확하게 설명해야 합니다.

AI 기반 제품과 서비스가 사람과 지구에 도움이 되려면 정부와 규제 기관은 전체 생태계 및 생태계가 사람에게 미치는 영향을 살펴보고 이러한 시스템이 하고자 하는 의도를 요구하고 기업이 데이터 프라이버시 및 보안을 최우선시 하며 책임을 지도록 해야 합니다.

“AI를 즉시 신뢰할 수 있다고 마케팅하거나 기술적인 관점에서 모든 경우에 신뢰성이 있다는 것을 증명할 수 없습니다.”라고 포스터(Foster)는 말합니다. “신뢰는 오랜 시간에 걸쳐 얻어야 할 것입니다.”
개발자와 정책 입안자, 특히 최종 사용자를 연결하는 AIX 설계는 AI 산업의 장기적 신뢰 달성을 위한 첫 번째 단계입니다.