제목 | 데이터셋 | 신경망 모델 | pooling layer | ensemble | loss function | optimizer | batch size | epoch |
---|---|---|---|---|---|---|---|---|
딥러닝 기반 Openpose를 이용한 수화 동작 인식에 관한 연구 | openpose → 이미지 | CNN - InceptionV3모델 | max pooling | voting | cross entropy | Adam | 26 | 500 |
딥러닝 기반 자세 및 손 제스처 인식 기술을 활용한 병원 수어 번역 프로그램 설계 및 구현 | media pipe 관절 추출 → json | CNN , (Residual unit) , LSTM (Bi-directional) , Bahdanau Attention | max pooling | categorical cross entropy | Adamax | 200 | ||
청각장애인의 수어 교육을 위한 mediapipe 활용 수어 학습 보조 시스템 개발 | media pipe, opencv → 이미지 (관절, 손영역 추출) | SVM, CNN | ||||||
openpose와 cnn 기반 수어 영상 번역 서비스 개발 | 영상에서 이미지 추출, 영상에서 openpose를 이용하여 keypoint 추출 | Conv1D | ||||||
청각장애인을 위한 수어 영상-자연어 번역 서비스 및 모바일 어플리케이션 구현 | 이미지 | CRNN (CNN-GRU) https://keras.io/examples/vision/video_classification/ | 64 | 100 | ||||
RGB 영상 데이터 기반 손동작 인식 | mediapipe → x,y 좌표 | Conv1D, Bi-dirctional GRU, Transformer | max pooling | categorical cross entropy | adam | 50 | ||
CNN(Convolutional Neural Network) 모델을 이용한 야구 경기 영상의 동작 분류 및 검색시스템 | 프로야구의 방송영상을 FFMPEG을 이용하여 이미지로 분할하여 생성 | CNN - google Inception-V3 모델 | ||||||
https://github.com/felixchenfy/Realtime-Action-Recognition
https://github.com/ChengeYang/Human-Pose-Estimation-Benchmarking-and-Action-Recognition
https://github.com/LZQthePlane/Online-Realtime-Action-Recognition-based-on-OpenPose
Keras documentation: Video Classification with a CNN-RNN Architecture