안녕하세요. 많이 쌀쌀해진 날씨, 따뜻하게 지내시고 감기 조심하시길 바랍니다.
저희는 동국대학교 서울캠퍼스의 AI 융합소프트웨어학부생 "다온" 팀 조장 한주아입니다.
이번에 시각장애인분들을 위한 어플을 개발중에 있는데,
전문가님의 자문을 받고 싶어 메일을 드리게 되었습니다.
우선 저희 "다온"에 대해 설명드리겠습니다.
다온은 시각장애인들의 제품 선택권 보장을 위한 휴대폰 어플리케이션으로,
다온 어플리케이션을 켠 후 카메라를 통해 편의점 제품을 인식하면
물건을 실제로 구분할 수 있도록 해당 제품의 이름을 음성으로 사용자에게 전합니다.
(아래 저희 프로토 타입의 간단한 영상 및 사진으로 설명하는 파일을 같이 송부드립니다)
다온 어플리케이션을 시각장애인분들께서 사용하시기 편하도록 어플리케이션의 UI를 극한으로 최소화하였습니다.
어플리케이션을 실행시키면 시작화면 없이 바로 카메라가 실행되어 사물을 인식하도록 하였습니다.
또한 화면 전체를 버튼으로 취급하여, 화면의 아무 공간이나 터치할 시 제품의 이름을 말해주도록 하였습니다.
실제로 시각장애인분들이 편의점을 이용하실 때 shape이 비슷한 제품들은
구분하기 어렵다는 정보를 접하고
프로토 타입으로 마스크 박스, 초코송이, 빼빼로와 같이 같은 박스 형태의 제품들과
펩시콜라, 코카콜라 등 음료수들도 라벨을 통해 구분하실 수 있도록 딥러닝 모델을 학습시켜 어플을 개발하였습니다.
하지만, 프로토 타입을 개발한 이후, 저희의 시점만으로 시각장애인 분들을 위한
어플리케이션을 만드는 것이 과연 올바른 방향으로 진행되고 있는가에 대한 고민을 하게 되었고
따라서 실질적으로 도움이 되는 어플을 개발하고자 이렇게 질문 요청을 드리게 되었습니다.
저희 팀 다온은 우리의 시선이 아닌, 어플을 실제로 사용하실 분들과 그들을 연구하시는 분들의 정보를 토대로 개발 방향성을 잡고자 합니다.
인터뷰 요청에 응해주신다면 저희에게 많은 도움이 될 것임이 분명하고,
더 나아가 시각장애인 분들에게 실제로 도움이 되는 어플을 만들어내리라고 말씀드릴 수 있습니다.
저희의 노력이 좋은 방향으로 나아갈 수 있도록 도와주시면 감사하겠습니다.
아래 저희가 궁금했던 부분들을 첨부해 보내드립니다.
괜찮으시다면 편하게 답변해주시면 매우 감사하겠습니다!
모든 사항에 답변해주실 필요는 전혀 없으시며, 답변주실 수 있는 부분만 견해를 나누어 주시면 정말 감사하겠습니다.
또, 어플에 대한 피드백을 주시면
적극적으로 반영하고 개발하겠습니다.
바쁜 시간 내셔서 읽어주셔서 정말 감사드립니다!
감사합니다.
다온 실행 영상
가로형
https://youtu.be/D1SHSLXSsow?feature=shared
세로형
https://youtu.be/t8pFp6_f5vg
[질문 리스트]
1. 시각장애인분들이 편의점을 이용하실 때 저희 어플이 도움이 될까요? 만약 도움이 된다면 어떤 점이 좋은지와 도움이 되기에 애매한 부분이 있다면 그 부분이 궁금합니다.
2. 시각장애인분들은 평소 편의점을 이용하실 때 어떻게 이용하시나요? 준맹과 약시의 경우 잔존시력이 남아있는 것으로 자료조사를 하였는데, 그렇다면 비슷한 형태의 물건도 어느정도는 구분이 가능한가요? 요지는 편의점을 이용하실 때 어느정도까지의 물건 구별이 가능한지가 궁금합니다.
3. 만약 저희 어플이 더 나아가 제품을 인식한 후 제품의 주요 성분 같은 부분을 알려주는 기술을 추가한다면 도움이 될까요?
4. 추가적으로 시각장애인분들이 키오스크를 이용하실 때 불편하신 점이 궁금합니다.
5. 질문 4번과 더불어 시각장애인분들이 편의점을 이용할 때 말고 또 기술적으로 해결되었으면 하는 부분이 무엇이있을까요? (예를 들어 키오스크 문제같이 일상생활에서 기술적으로 해결이 가능할 것 같은 불편한 문제들이 궁금합니다.)
6. 저희는 시각적 정보를 청각적 정보로 전환하는 구조로 설계되어 있습니다. 이 구조에서 어떻게 청각적 정보를 전달해야 효과적일까요? 단순히 스피커와 이어폰 말고 다른 수단이 있을까요?
7. 시각적 정보를 어떤 방향으로 전환하는게 좋을까요? 청각적 정보로의 전환 이외에 다른 방법으로 시각장애인분들에게 효과적으로 시각정보를 알려드릴 방안이 있을까요?
8. 질문 7번과 더불어, 인식 과정에서 불편한 정도에 따라 사용의 어려움이 클지, 그리고 이에 대한 의견이 궁금합니다
9. 시각장애인분들이 편의점을 이용하실 때 얻고 싶으신 정보가 무엇일까요? 예를들어 할인 행사 정보라던지, 아니면 제품 성분이라던지 제품명 말고 구매과정에서 얻고 싶으신 제품 정보가 궁금합니다
10. 편의점에서의 물건 구매 외에도 딥러닝 기술을 활용해 시각장애인을 위한 앱을 제작해본다면, 시각장애인의 생활 속에서 지속적으로 활용될 만한 분야가 있을지 궁금합니다.
=================== 답글내용 ===================
안녕하세요. 한국시각장애인연합회 중도시각장애인재활지원센터입니다.
시각장애인을 위해 좋은 아이디어를 제안해 주셔서 감사합니다.
1. 시각장애인분들이 편의점을 이용하실 때 저희 어플이 도움이 될까요? 만약 도움이 된다면 어떤 점이 좋은지와 도움이 되기에 애매한 부분이 있다면 그 부분이 궁금합니다.
도움이 될 것 같습니다. 그러나 편의점에서는 아직은 어렵습니다. 편의점에서 물건을 인식하기 어려울 정도의 시력이라면 물건 위치까지 시각장애인 혼자는 찾아가기 어렵습니다. 찾아간다 해도 원하는 물건을 찾는 데는 어플로는 시간이 너무 오래 걸려 효율이 낮습니다. 이 어플은 집에서 여러 비슷한 모양의 제품을 구별하는 데 요긴할 것 같습니다.
장점이 있다면 점자가 표기되기 어려운 페키지에 도움이 될 것입니다.
그런데 라벨이 어디에 있는지 시각장애인이 어떻게 알죠?
2. 시각장애인분들은 평소 편의점을 이용하실 때 어떻게 이용하시나요? 준맹과 약시의 경우 잔존시력이 남아있는 것으로 자료조사를 하였는데, 그렇다면 비슷한 형태의 물건도 어느정도는
구분이 가능한가요? 요지는 편의점을 이용하실 때 어느정도까지의 물건 구별이 가능한지가 궁금합니다.
이 질문은 케바케므로 의미가 없습니다. 시각장애인을 뭉뚱그려서 설명하기 어렵습니다. 겉으로는 전혀 시각장애인 같지 않은 경우도 있고 전혀 빛조차 인지 못하는 경우까지 다양합니다.
앞서 설명한 대로 전맹은 편의점에서 스스로 물건을 구입하기는 어렵습니다. 직원에게 도움을 청하는 것이 현명하다고 생각합니다. 저시력인 경우는 육안으로 식별하거나 스마트폰 카메라로 확대해 제품 정보를 얻습니다.
3. 만약 저희 어플이 더 나아가 제품을 인식한 후 제품의 주요 성분 같은 부분을 알려주는 기술을 추가한다면 도움이 될까요?
도움이 될 것 같습니다.
하지만 이미 QR코드가 있습니다. 기업에서 생산되는 제품은 규격화가 필요합니다. 업체마다 다른 기준을 사용하면 소비자에게 혼란을 주니까요. 이 역시 QR코드라는 식품 표시에 대한 가이드라인이 있습니다.
4. 추가적으로 시각장애인분들이 키오스크를 이용하실 때 불편하신 점이 궁금합니다.
이 점은 디지털접근성진흥원(02-973-0073)으로 문의해 주시기 바랍니다. 키오스크 접근성 지침이 있을 것입니다. 이렇게 정부에서 표준을 정하는 것은 그에 맞춰 제작하면 됩니다.
5. 질문 4번과 더불어 시각장애인분들이 편의점을 이용할 때 말고 또 기술적으로 해결되었으면 하는 부분이 무엇이있을까요? (예를 들어 키오스크 문제같이 일상생활에서 기술적으로
해결이 가능할 것 같은 불편한 문제들이 궁금합니다.)
이 질문에 대한 답은 저희가 하기 어렵습니다. 해결이 가능할 기술까지 염두에 두어야 하니까요. 저희는 기술에 관해서는 전문가는 아닙니다.
6. 저희는 시각적 정보를 청각적 정보로 전환하는 구조로 설계되어 있습니다. 이 구조에서 어떻게 청각적 정보를 전달해야 효과적일까요? 단순히 스피커와 이어폰 말고 다른 수단이
있을까요?
현재는 그외 다른 수단은 없어 보입니다.
7. 시각적 정보를 어떤 방향으로 전환하는게 좋을까요? 청각적 정보로의 전환 이외에 다른 방법으로 시각장애인분들에게 효과적으로 시각정보를 알려드릴 방안이 있을까요?
텍스트로 정보를 읽을 수 있으면 좋겠네요. 자막처럼요. 텍스트는 음성보다 정보를 정확히(맞춤법 등) 전달하고, 저장 및 편집이 용이합니다.
8. 질문 7번과 더불어, 인식 과정에서 불편한 정도에 따라 사용의 어려움이 클지, 그리고 이에 대한 의견이 궁금합니다
어플이 비교적 단순해 사용이 불편할 것 같지는 않습니다.
다만 이 어플에 다른 기능(예를 들어 설정)이 들어간다면 어플을 켬과 동시에 자동으로 카메라모드가 동작하도록 하는 것은 부적절해 보입니다.
9. 시각장애인분들이 편의점을 이용하실 때 얻고 싶으신 정보가 무엇일까요? 예를들어 할인 행사 정보라던지, 아니면 제품 성분이라던지 제품명 말고 구매과정에서 얻고 싶으신 제품
정보가 궁금합니다
편의점이라면 할인 정보 아닐까 합니다. 2+1같은 거요. 하지만 이 역시 개개인마다 원하는 정보가 다를 수 있으므로 해당 편의점에서 제공하는 모든 정보를 지원한다면 좋겠네요.
10. 편의점에서의 물건 구매 외에도 딥러닝 기술을 활용해 시각장애인을 위한 앱을 제작해본다면, 시각장애인의 생활 속에서 지속적으로 활용될 만한 분야가 있을지 궁금합니다.
5번 질문과 유사해 보입니다.
* 기타 의견
이 어플은 화면 전체를 버튼으로 취급하여, 화면의 아무 공간이나 터치할 시 제품의 이름을 말해주도록 하였습니다.
일반적으로 QR코드 같은 코드 인식 앱을 사용하면 자동으로 인지된 제품 정보를 알려주도록 하고 있습니다. 화면을 터치하도록 한 이유가 뭔지 모르겠네요.
그리고 라벨을 인식하도록 했다고 했지만 위에서 언급한 대로 라벨이 어디있는지 모른다면 의미가 없습니다. 라벨에 윤곽을 주게 한다면 이 방법은 이미 식약처 가이드라인에서 QR을 활용할 경우 QR 둘레에 양각으로 선을 인위적으로 주어 QR위치가 인지되기 쉽도록 정하고 있어 중복되므로 굳이 QR이 있는 경우라면 라벨로 인식하게 할 필요가 없습니다.
딥러닝을 이용하신다면 라벨보다는 제품 전체 디자인(제품명 표기나 그래픽 등)을 이용해 제품을 식별하도록 하는 것이 어떨까요?
그럼 제 답변이 이해가 되지 않거나 부족한 점이 있으시다면 전화 주세요.
☎ 02-799-1052(중도시각장애인재활지원센터)