수화 프로젝트
-
Neural Sign Language Translation based on Human Keypoint Estimation수화 프로젝트 2021. 9. 13. 12:20
1. Introduction - Sign language recognition & translation : visual language를 구어로 해석하는 것 * 수화 특징 - 수화는 고유한 문법으로 손의 모양과 움직임을 통해 언어적 의미를 나타냄 - 얼굴의 표현으로 감정과 특정한 의도를 표현함 - 많은 수화는 손과 얼굴 표정의 연속적인 표현으로 구어의 단어와 문장을 표현 - 손(손가락) 언어는 한 손 모양으로 알파벳의 각 문자를 표현 - 즉, 같은 의도여도 수화로 표현하는 것에는 셀 수 없을 정도로 많은 조합 존재 * 문제점 - 수화를 이해하는 것은 높은 수준의 spatial & temporal 지식이 요구됨 - 현재 인공 신경망 기반 컴퓨터 비전 수준으로는 어려운 테스크 - 거기다 인공 신경망을 학습할..
-
[논문 리뷰] Spatial-Temporal Multi-Cue Network for Continuous Sign Language Recognition수화 프로젝트 2021. 8. 13. 11:28
1. Introduction - 본 논문은 continuous sign language recognition (CSLR)에 집중 CSLR : 일련의 sign을 일치하는 sign gloss sentence로 번역이 목적 - Sign language는 양 손의 shape, position, orientation, movement를 포함하는 manual element와 eye gaze, mouth shape, facial expression, body pose를 포함하는 non-manual element가 동시에 이뤄짐 - 인간은 이러한 반응에서 복잡한 정보를 쉽게 처리하고 분석할 수 있음 - Deep neural network가 다중의 visual cue의 implicit collaboration을 발견하는..