헬창 개발자

이번 포스팅에서는 얼굴 감정 인식 모델과 텍스트 감정 인식 모델의 감정을 어떻게 하나로 합치는지를 설명합니다. 제가 제안한 모델 구조입니다. 얼굴 감정의 결과는 각 감정의 확률로 나오고 텍스트 감정의 결과는 코사인 거리를 계산하여 도출 합니다. 두 개의 모델을 합치기 위해선 새로운 수식이 필요한데 저는 밑의 수식처럼 멀티모달의 감정 수식을 계산 했습니다. Em은 두 개의 감정을 결합하여 생선한 최종 감정을 의미하며 Et와 Es는 가각 얼굴과 텍스트에 대한 감정 순위를 의미합니다. p는 얼굴 감정에 부여하는 가중치이며, 텍스트 감정에 대한 가중치는 (1-p)로 모든 가중치의 합은 1이 됩니다. 이제 실험 평가를 해봐야겠죠?? 저는 AIHUB에서 제공하는 멀티 모달 데이터셋을 이용하여 평가했습니다. http..

이번 포스팅은 얼굴정보를 통해 감정을 인식하는 방법에 대해 설명합니다. 얼굴 인식 모델로는 CNN, DNN 등 다양한 신경망 모델이있습니다. 저는 CNN을 통해 얼굴 감정인식 모델을 구현하겠습니다. 먼저 모델 구조입니다. 데이터셋은 FER 2013 데이터를 사용하여 CNN 모델을 학습 시켰습니다. input image는 64 x 64로 들어가며 합성곱 과정과 배치 정규화, 활성화 함수, 폴링 과정을 거처 최종 감정이 도출됩니다. 정확도는 65%를 기록했네요 실제 구현 화면이며 코드는 해당 사이트를 참고하였습니다. https://github.com/omar178/Emotion-recognition GitHub - omar178/Emotion-recognition: Real time emotion recog..

이번년도 제일 뿌듯했던 경험을 했다. 바로 한요한 콘서트를 직관 한요한과 문까스의 콜라보를 눈앞에서 보고 요한이 형이 팬서비스로 허그까지 해줬다.....형 최근에는 못했던 대외활동이랑 여행등 많은 활동을 하고있다. 이번에는 글램핑도 가고 바다도 보고 알찼던 방학이였다. 위 사진은 글램핑에서 불멍을 하기로 했는데 눈이 많이온 관계로 숯불로 불멍을 대체하였다.... 외부활동을 많이 나가다 보니 다양한 사람들을 만난다. 세상 아직 살만하다는 것도 느끼고 다양한 성격에 사람들은 보니까 내가 우물만 개구리 였구나 세삼 느낀다. 위 사진은 최근 친해진 친군데 플러팅을 한 수 배우고 있다. 꼬리는 이렇게 치는거구나 하고 많이 배운다 ㅋㅋㅋㅋ 방학에 졸업논문을 준비하면서 간단한 프로젝트를 진행하고 있다. SNL에서 M..

이번 포스팅은 VAD를 학습한 모델을 이용해 감정 차원에 매핑을 하는 방법을 소개합니다. 저번 포스팅때 학습한 모델에 입력값에 문장을 입력하고 출력되는 VAD값을 확인해 보겠습니다 "How can you say that?" 이라는 문장의 VAD값은 [0.4840004858940471, 0.3319215985240239, 0.3930063435385865] 이네요 이제 감정 매핑을 위한 알고리즘이 필요한데 저는 코사인 거리를 계산하여 가장 가까운 벡터값에 감정을 매핑하는 방법을 선택하겠습니다. 코드는 다음과 같습니다. def vad_cos(vad): # surprise v_surprise = 0.875 a_surprise = 0.875 d_surprise = 0.562 # anger v_anger = 0...

이번 포스팅에서는 VAD를 학습한 BERT모델을 구현하고자 합니다. VAD 데이터셋은 다음처럼 감정 지표인 V, A, D 점수로 되어있습니다. 모델의 입력 값으로 문장을 넣은다고 하면 출력 값으로 V, A, D라는 점수가 나오게 됩니다 여기서 문제는 출력 값은 무한대로 나오기 때문에 분류(Classification)의 문제가 아닌 회귀(Regression)의 문제로 모델을 학습시켜야 합니다. 따라서 BERT 모델의 마지막 레이어의 회귀를 추가하여 3개의 출력 값이 나오게 다중출력 회귀 레이러를 추가하여 학습을 진행합니다. 기존 BERT의 모델 구조가 다음과 같다면 제가 구현하는 회귀 BERT 모델의 구조는 다음과 같습니다. 코드는 다음 처럼 D_out 출력층에 3개 출력을 설정해주시고 마지막 출력층에 회..

이번 포스팅에서는 음성 추출 단계인 STT를 파이썬으로 구현한 방법을 소개하겠습니다. 1. 라이브러리 설치 $ pip install SpeechRecognition $ pip install pyaudio 먼저 STT를 사용하기 위한 라이브러리를 설치를 해줍니다. 2. 소스 코드 github.com/Uberi/speech_recognition/blob/master/examples/microphone_recognition.py import speech_recognition as sr # microphone에서 auido source를 생성합니다 r = sr.Recognizer() with sr.Microphone() as source: print("Say something!") audio = r.listen..

자기소개 하라고 하셔서.... 적어놓음 좋았던 우리팀원들 만나서 반가웠습니다 :) 이건 채신 기술 팀마다 다른과를 배정해주어서 좋은 아이디어를 생각할 수 있었습니다!! 마지막날 바다 구경!

저번 포스팅에서는 VAD 데이터를 학습한 언어모델과 얼굴 정보를 인식하는 영상모델을 통해 멀티모달을 구현한다고 하였습니다. 아래 그림은 이번 프로젝트에서 제안하는 시스템 구조입니다. 음성 추출 음성 추출 단계에서는 사용자의 음성정보를 텍스트로 바꾸기위해 STT(Speech to Text)를 사용한다. 이는 구글 API를 이용하여 구현합니다. 텍스트 감정 인식 모델 텍스트로 변환된 음성정보의 감정을 인식하기 위해서는 VAD 데이터를 학습한 언어 모델이 필요합니다. 모델 학습은 BERT를 이용하여 학습을 하며 데이터셋은 vad lexicon 데이터셋을 활용 합니다. 이 데이터셋은 단어를 VAD의 대한 지표 계산한 데이터 입니다. https://saifmohammad.com/WebPages/nrc-vad.ht..

사람은 평생에 걸쳐 다양한 감정을 느끼며 살아 갑니다. 감정은 심리학 분야에서는 오랜 연구 대상이였으며 최근 컴퓨터 분야에 이런 감정의 변화를 인식하려는 연구가 진행중 입니다. 컴퓨터 분야의 기존 감정 인식 연구는 인간의 감정 상태를 통상적인 6가지 감정으로 분류하며, 이는 인위적인 것으로 정확한 감정의 상태를 표현하기에는 많이 부족 합니다. 최근 감정을 연속선에서 인식하기 위한 시도가 등장했으며 위 그림과 같이 감정을 다차원에서 연속적인 백터로 표현한 모델이 등장하였습니다. 어떤 감정의 성분이 어느 정도 내포되어 있는지를 파악하기 위해서는 V.A.D 차원에 감정영역을 설정하여 차원에 감정을 맵핑 합니다. Valence는 감정의 양수 또는 음수 정도를 나타내며 행복은 양수 감정이고, 슬픔은 음수 감정이다..

미세먼지는 대기 중 장기간 떠다니는 인위적으로 발생하는 지름 10㎛ 이하의 먼지를 지칭한다. 미세먼지 줄이기 위해서는 도시 숲을 만들어 미세먼지를 정화하는 작업이 필요하다. 도시 숲이란 도시에서 국민의 보건 및 휴양 증진을 위한 산림 및 수목을 말한다. 이런 도시 숲은 열섬현상과 완화와 미세먼지 감소 효과가 있다는 연구가 있다. 하지만 이런 도시 숲을 최적의 위치에 조성하기 위해서는 미세먼지의 영향을 주는 요인에 대해 상관관계를 분석해야 하며 도시 숲이 조성되었을 때 미세먼지 증감률을 비교할 수 있어야 한다. 특정 지역의 미세먼지 상관관계를 분석하기 위해 서울시를 대상으로 정했다. 데이터 수집은 서울시 열린 데이터광장에서 제공하는 데이터를 활용하였다. 데이터의 전처리를 위해 필요한 컬럼을 서울시 행정구에..