AI 서비스의 차별화를 고민하고 있다면

JayLee Enterprise AI, Roadmap Leave a Comment

대부분의 산업들이 경쟁적으로 AI서비스를 고민하고 있는 시점이다. 그러다 보니 AI를 이용하는 고객들로부터 제법 똑똑하다는평가를 받거나, 적어도 경쟁사보다 보다 나은 AI 서비스를 제공할 수 있기를 기대한다.

그렇다면 경쟁사들과 가장 큰 차별화, 그리고 고객들이 인지하던, 인지하지 못하던 “제법 똑똑한 AI 서비스”를 제공하기 위한 출발은 어디에서 시작해야 할까?

대표적인 경쟁적 도입 서비스 가운데 하나인, (진입장벽이 상대적으로 쉽다는 판단과 조언아래)챗봇 상담 서비스의 경우, 상당한 준비와 데이터의 축적, 학습을 통해서 구축/제공을 하는 경우에 조차 실제 해당 업무의 오랜 고객 상담 경험이 있는 전문 상담사들 보다 나은 서비스를 제공할 수 없다는 전제에서 출발할 수 밖에 없다.

그러나 서비스를 제공하거나, 준비하는 측의 사정을 충분히 이해하는 사용자만 있는 것이 아니고 보니, 막상 서비스를 공개하고 나면 적지 않은 사용자들로부터 쏟아지는 혹평, 비판, 그리고 비난의 정도 차이만 있을 뿐, 부정적 이야기들이 폭주하게 되는 경우가 대부분이다. 비록 이러한 한계 혹은 제약을 인정하고 출발했다고 하더라도, 이러한 부정적 평가를 마주할 공급자 측면에서의 부담이 만만치 않게 된다. 그렇다고 이용자 대부분으로 부터 만족스러운 결과를 만들때 까지 공개를 미루고 마냥 개발/준비기간을 연장할 수도 없다.(실전에서의 학습/오류 수정 과정 없이 준비만으로 만족스러운 결과가 나올 가능성은 전혀 없다.)

그러다 보니 공통적으로 접근하는 방식이, 서비스를 시작하면서 “저는 이 주제, 저 주제 정도만 처리할 수 있어요”라는 다룰 수 있는 주제/의도(Intent)에 제약을 분명하게 선언하는 방식이다. 그럼에도 불구하고, 다룰 수 있는 주제를 벗어나는 질의를 던지는 사용자들을 막을 수 없지만, 적어도 해당 주제에 대한 적절한 답변을 제공하지 못하는 경우(out of scope, anything else)라도 이로 인한 지적과 혹평은 일정기간 ‘면피’가 되기 때문이다.

그런데 AI 서비스와 사용자와의 실제 대화이력을 분석하다 보면, AI가 틀린 답변을 쉽게, 그리고 반복적으로 제공하는 결과를 보게 된다. 즉 사용자의 의도(intent)가 자신이 학습을 한 주제 영역 내이던 혹은 주제를 벗어난 경우나, “이해 하지 못했다”거나, 사용자의 의도는 이해를 했으나, 아직까지 AI가 답변을 준비하지 못한 영역이라는 점을 명시하는 것이 아니라, 엉뚱한 답변을 반복적으로 내뱉는 장면에서는 쓴 웃음이 날 수 밖에 없다.

물론 AI 서비스에서 제공하는 confidence rate(value), matched intent 혹은 entity를 살펴보기도 하고, 다이얼로그 저작툴을 제공하는 IBM의 WCS(Watson Conversation Service)를 사용하는 경우라면, dialog stack 을 살펴보는 것으로, 이러한 잘못된 답변이 도출된 원인을 찾는 것은 어렵지 않다. (물론 이러한 잘못된 판단조차 하지 못하고, 무조건 “anything else”, “답변 불가”로 판단하고, 답변을 제공하는 AI 서비스라면 이의 개선과정은 훨씬 더 오랜 시간이 걸리거나 심지어, 자기 학습/이해 능력이 결여된 시스템일 가능성도 존재한다.)

그런데 문제는 이렇듯 ‘잘못된 답변’을 제공하는 과정은 어쩌면 불가피하다는 점이다. 즉 Conversation 서비스에서 잘못된 답변을 제공하는 원인은 대부분 ‘Utterance’ 즉 사용자의 질의에 대해 AI서비스에서, 자신이 학습한, 다루어도 좋을 영역으로 식별된 경우가 대부분이라는 점이다. 이 말은 결국 사용자의 질의를 자신이 학습한 주제라고 식별한 utterance와 유사도가 높은 intent와 이에 매칭된 utterance가 존재하기 때문이다. Image 매칭의 경우도 마찬가지다. AI 및 Deep Learning에 대한 깊이있는 연구로 유명한 Stanford 의 이미지에 대한 시맨틱 시스템이 아래 이미지에 대한 설명은

 

“A bunch of bananas are hanging from a ceiling” 였다.

(출처 : http://cs.stanford.edu/people/karpathy/deepimagesent/)

이처럼 상당시간동안, AI 서비스가 서비스 공급자의 특정 산업, 업무 분야의 지식을 충분히 획득하고 일정한 성과에 도달하는 과정에서의 잘못된 답변을 바로잡아야, “제법 똑똑한 AI 서비스” 혹은 “조금 덜 멍청한 서비스”라는 최소한의 사용자 평가를 받을 수 있게 된다.

불가피한 이 과정을 얼마나 빠르게 교정하고, 교정이 필요한 잘못된 답변을 추출하고, 이를 바로잡을 수 있는 방법을 제공하느냐하는 점이 현재 수준의 AI 서비스 공급자들에게 주어진 과제다.

해당 과정을 신속/자동으로 추출하고 이 과정을 압축적으로 최소화하기 위한 방법론은 각 AI 서비스 제공자별로 각기 다른 방법론을 제공하게 된다. 이 방법론, 즉 솔루션은 생각보다 많은 고민, 다양한 과정이 요구되는 바, 이에 대한 나름의 고민과 방법론을 후술하고자 한다.

댓글 남기기