너의 목소리가 보여!
청각장애인을 위한 AR 대화 앱 서비스를 개발하다
지암 Innovators’ studio 이음 개발팀
마스크로 입을 가리고 대화하는 것은 우리 모두의 안전을 위해 꼭 필요한 일이지만 입 모양을 보고 소통하는 청각장애인에게는 소통에 장벽을 만드는 일이다. 김민석· 강소영·고현영(자동차공학과 18학번)·문정연(공업디자인학과 19학번)·최상현(자동차운송·디자인학과 18학번) 학생은 청각장애인의 귀가 되는 AR 대화 앱 서비스, 이음을 만들었다. 비대면 수업에서 대면 수업으로 전환된 지난 1년간을 꼬박 이음에 매달린 결과, 이번 학기에는 두 대회에서 수상하기도 했다. 팬대믹이 기회가 된 이들의 이야기를 들어 봤다.
이음으로 2022년 DSUS(한국디자인학회 봄학술대회의 대학생디자인학술대회)에서 최우수상을, 2022 Microsoft Azure Virtual Hackathon에서 우수상을 받으셨어요. 수상을 축하드립니다. 이음에 대한 소개를 부탁드립니다.
강소영 이음은 청각장애인을 위한 AR 대화 앱 서비스예요. 사용자가 스마트글래스를 쓰면 대화의 내용을 AR로 구현해내죠. 청각장애인의 소통을 돕는 AR 글래스 인터페이스를 디자인하고 소프트웨어를 구현해 프로토타입으로도 만들었어요.
▲ 청각장애인이 이음을 사용했을 때 시나리오
▲ 이음은 사용자의 환경에 따라 대화 상대, 대화 상대 수, 자막 타입, 주변의 효과음 표시를 설정할 수 있다
청각장애인분들을 위한 AR 대화 앱 서비스를 만들게 된 계기가 궁금합니다.
김민석 이음은 지암 Innovators’ studio에서 시작된 프로젝트예요. 2021학년도 2학기에 착수했어요. 코로나19로 첨단기술이 발전했는데요. 저희는 그중에서도 스마트글래스를 활용한 프로젝트를 진행하고 싶었어요. 좀처럼 콘셉트가 정해지지 않아 애를 먹고 있었는데 박범서 교수님께서 기술 사각지대에 놓인 분들을 위한 기술로 방향을 설정해 보는 것은 어떻겠냐고 조언해 주셨죠. 코로나19로 첨단기술이 빠른 속도로 발전했지만 그 혜택을 받지 못하는 분들이 계세요. 그러한 기술소외자분들을 조사하다가 마스크 착용으로 청각장애인분들이 소통에 어려움을 겪고 계시다는 사실을 알게 됐어요.
청각장애인이 겪고 있는 소통의 어려움, 어떤 것들이 있나요? 비장애인으로 구성된 팀이다 보니 실제로 청각장애인을 만나 그들의 이야기를 직접 들어보는 것이 중요했겠어요.
강소영 최고도, 고도, 중등고도, 중등도 청력손실이 있는 청각장애인 남녀 네 분을 대상으로 코로나19 이후 겪고 있는 의사소통의 어려움뿐만 아니라 영상을 시청하거나 키오스크를 이용할 때 일상에서 겪는 불편함을 필담으로 받았어요. 또 직접 일상을 관찰하는 것도 도움이 될 것 같아 청각장애가 있는 바리스타가 운영하는 카페(사랑의 달팽이 소리숲)에 방문해 협조를 구했어요. 실제로 일하는 모습을 지켜보면서 소통의 어려움을 살펴보았죠. 청각장애인은 주변 소리가 잘 들리지 않아 누군가가 뒤에서 부르거나 긴급상황이 발생했을 때 인지하는 속도가 느릴 수밖에 없어요. 저희와 이야기를 나눈 분은 인공와우를 끼고 생활하시는데요. 일대일로 천천히 또박또박 이야기하면 소통이 잘 이뤄지지만 대화 상대가 두세 명만 늘어나도 대화에 동참하는 게 어렵다고 말씀하셨어요.
▲ 소프트웨어 개발을 담당한 강소영 학생(왼쪽)과 사용자경험디자인을 작업하고 팀장 역할을 맡은 김민석 학생(오른쪽)
‘당신의 귀가 되어 세상과 이어드리겠다’는 의미에서 이음으로 이름을 지었죠. 어떤 솔루션이 적용되어 있나요?
김민석 일대일 대화와 다자간대화에서 사용자경험을 증진하는 소통 경험을 선사하고 싶었어요. 스마트글라스를 착용하면 AR로 상대방의 대화가 문자로 보이는데요. AI가 상대방의 얼굴을 인식하고 빈 곳에 대화를 띄워줘요. 일대일 대화에서는 자막 타입으로 보이고, 다자간대화에서는 발화자의 얼굴이 잘 보이게 말풍선 타입으로 대화가 나와요. 또 대화할 때는 게이지바로 주변 상황에 맞는 적절한 목소리 범위를 알려주는 디자인과 주변 소음의 크기와 방향을 시각적으로 표시해주는 디자인도 적용되어 있어요.
박범서 교수님께서 학생들의 아이디어에 물꼬를 터주신 덕분에 지금 이 시기에 청각장애인에게 꼭 필요한 디바이스가 나오게 됐는데요. 지암 Innovators’ studio는 어떤 곳이고, 주로 어떤 학생들이 이곳에서 수업을 듣나요?
박범서 교수 지암 Innovators’ studio는 9년 전에 설립됐어요. 다양한 전공의 학생들이 모여 학문적 융합을 시도해 취업과 창업에 필요한 역량을 끌어내는 활동을 하고 있습니다. 1년간 진행되는 Innovators’ studio의 수업은 심사로 선발된 2·3학년 학생들을 대상으로 연구와 창업과 연계된 활동을 진행합니다. 국민대학교 창업지원단은 연구와 프로젝트 수행 과정 중에 필요한 제작 비용 등을 적극적으로 지원하고, 종료 후에는 평가를 거쳐 우수한 성과를 거둔 학생에게는 장학금을 지급합니다. 요즘은 학생들이 창업에 관심이 많은데요. 창업가를 꿈꾸는 학생이라면 지암 Innovators’ studio에서 다양한 경험과 지원을 받을 수 있죠. 프로젝트를 발전시켜 스타트업 회사를 설립하게 되면 창업에 필요한 초기 비용을 국민대학교가 지원하는데 올해는 예비창업자 프로그램을 운영해 1억 원 내외로 창업에 필요한 자금을 전달할 계획이라고 해요. 국민대학교에는 지암 Innovators’ studio를 비롯해 창업과 관련된 다양한 수업이 있는데요. 학부생 기간에 창업에 관심이 있는 분들이라면 활용해 보는 것도 좋겠습니다.
▲ 이음 프로젝트를 지도한 박범서 교수(왼쪽)와 논문화 과정을 지도한 연명흠 교수(오른쪽)
연명흠 교수님께서는 지암 Innovators’ studio 소속이 아니신데도 불구하고 DSUS에서 우수한 성적을 거둘 수 있게 도움을 주셨어요. 학생분들을 향한 애정이 느껴집니다.
연명흠 교수 공업디자인학과의 사용자경험디자인 수업을 강의하고 있는데요. 졸업을 앞둔 김민석 학생이 제 수업을 잘 듣고 현시점에 꼭 필요한 앱 서비스를 디자인해줘서 기특합니다. 김민석 학생 외에도 해마다 공업디자인학과 학부생 여러 명이 지암 Innovators’ studio에서 프로젝트를 진행하며 구슬땀을 흘리고 있고, 박범서 교수님이 우리 제자들의 역량을 키우기 위해 노력하고 계신 것도 잘 알고 있습니다. 그동안의 감사한 마음을 논문화 과정을 지도하는 방식으로 표현하고 싶었습니다. 공업디자인학과 학생들이 최근 5년간 DSUS에서 연달아 우수한 성적을 거두고 있는데요. 동기와 선배들이 좋은 결과를 보여 후배들에게 도전 정신을 자극하고 있습니다. DSUS는 디자인전공 학부생들만의 논문발표 대회로, 매 대회 50편 이상의 논문이 경합하는 수준 높은 학술행사입니다. 대회 준비하는 과정이 만만치가 않기 때문에 각오를 좀 해야 합니다만, 논문을 쓰면서 프로젝트 전반을 돌아보며 어떤 길을 걸어왔는지, 무엇이 부족한지도 살펴볼 수 있고, 논리적이고 체계적인 사고를 갖출 수 있어 학생들에게 논문을 써보라고 권유하고 있습니다.
▲ AR 대화 앱 서비스 이음
지난 2년간 코로나19 때문에 국민대학교 캠퍼스가 고요했는데요. 다들 무얼 하며 지내는지 궁금했었어요. 비대면의 시간을 잘 보내고 좋은 소식으로 만나 참 다행이고 기쁩니다.
박범서 교수 지암 Innovators’ studio는 팬데믹 이전만 하더라도 프로젝트 초반과 중반에 워크숍을 여러 차례 가졌습니다. 그런데 지난 2년간 대면 활동을 할 수 없어 팀의 시너지를 잘 발휘할 수 있도록 팀워크를 끌어올리는 데 고민이 많았습니다. 코로나19로 온라인이 오프라인을 대체할 수 있다는 것을 알 수 있었던 반면에 또 온라인으로는 대체하기 어려운 오프라인 활동이 있다는 것을 알았는데요. 앞으로 이 두 가지를 잘 활용해 팀의 시너지를 잘 발휘할 수 있도록 좀 더 고민해볼 생각입니다. 국민대학교도 학생들의 팀 프로젝트 활동이 좋은 시너지를 거둘 수 있도록 많은 관심을 기울여주셨으면 합니다.
연명흠 교수 20학번 학생들은 지난 2년간 비대면으로 수업했습니다. 올해 1학기 중반 이후부터 대면 수업이 이뤄지면서 대면 수업만의 장점을 잘 알아가고 있는 것 같습니다. 박범서 교수님께서 국민대학교가 다양한 활동을 통해 창업을 지원하고 있다고 말씀하셨는데요. 요즘은 창업에 뛰어들 수 있도록 정부가 나서서 생태계를 구축하고 있고, 창업에 대한 의지를 보이는 학생도 예전보다 많습니다. 창업을 고민 중인 학생이 있다면 꼼꼼하게 준비해 다양한 혜택을 최대한 받아 준비해보는 것도 좋을 것 같습니다.
김민석 지암Innovators’ studio로 이음을 개발할 수 있었고, 코로나19로 청각장애인의 삶을 들여다볼 수 있던 1년이었어요. 프로젝트를 진행하며 대학에 다니는 청각장애인을 만났는데요. 저희와 똑같은 고민을 하는 다를 게 별로 없는 또래였어요. 단지 대화를 할 때는 배려가 필요하다는 정도? 이음을 프로토타입으로 개발해 테스트를 진행했을 때 청각장애인들이 주로 쓰는 동시·원격 문자통역 앱보다 사용성이 좋다고 말씀해 주셔서 뿌듯했고, 이번 프로젝트를 통해 사용자경험디자인은 배려와 사람에 관한 관심에서 비롯된다는 것을 확인할 수 있었어요.
강소영 코로나19로 첨단기술 발전이 가속화됐다고 하잖아요. AI, AR 기술을 일상에서 자주 접하고 있는데요. 개발자로서 기술 사각지대에 놓여 있는 분들을 위해 소프트웨어를 설계해본 경험은 두고두고 기억날 것 같아요. 언택트 시대에 청각장애인의 삶을 보다 편리하게 만드는 기술 개발 경험은 제 가슴을 따뜻하게 하는 시간이었습니다!
이 코너의 다른 기사
Copyright @2022 Kookmin Univ. All Right Reserved 개인정보처리방침