헬창 개발자

저번 포스팅에서는 VAD 데이터를 학습한 언어모델과 얼굴 정보를 인식하는 영상모델을 통해 멀티모달을 구현한다고 하였습니다. 아래 그림은 이번 프로젝트에서 제안하는 시스템 구조입니다. 음성 추출 음성 추출 단계에서는 사용자의 음성정보를 텍스트로 바꾸기위해 STT(Speech to Text)를 사용한다. 이는 구글 API를 이용하여 구현합니다. 텍스트 감정 인식 모델 텍스트로 변환된 음성정보의 감정을 인식하기 위해서는 VAD 데이터를 학습한 언어 모델이 필요합니다. 모델 학습은 BERT를 이용하여 학습을 하며 데이터셋은 vad lexicon 데이터셋을 활용 합니다. 이 데이터셋은 단어를 VAD의 대한 지표 계산한 데이터 입니다. https://saifmohammad.com/WebPages/nrc-vad.ht..

사람은 평생에 걸쳐 다양한 감정을 느끼며 살아 갑니다. 감정은 심리학 분야에서는 오랜 연구 대상이였으며 최근 컴퓨터 분야에 이런 감정의 변화를 인식하려는 연구가 진행중 입니다. 컴퓨터 분야의 기존 감정 인식 연구는 인간의 감정 상태를 통상적인 6가지 감정으로 분류하며, 이는 인위적인 것으로 정확한 감정의 상태를 표현하기에는 많이 부족 합니다. 최근 감정을 연속선에서 인식하기 위한 시도가 등장했으며 위 그림과 같이 감정을 다차원에서 연속적인 백터로 표현한 모델이 등장하였습니다. 어떤 감정의 성분이 어느 정도 내포되어 있는지를 파악하기 위해서는 V.A.D 차원에 감정영역을 설정하여 차원에 감정을 맵핑 합니다. Valence는 감정의 양수 또는 음수 정도를 나타내며 행복은 양수 감정이고, 슬픔은 음수 감정이다..