'멀티모달' 태그의 글 목록

지금까지의 머신러닝과 딥러닝 모델은 한가지의 정보만을 이용하여 학습했다. 하지만 사람이 정보를 받아들일 때는 소리, 시야, 후각 등 다양한 정보를 통합하여 판단하지 하나만 사용하지 않는다.AI 또한 다양한 정보를 통합해 판단할 필요가 있다. Modality란?modality: (인체의 감각적) 양상, 시각 및 청각적 양상신체의 다양항 감각을 통해 정보를 받아들이는 양상을 의미하는 modality를 AI분야에 접합시켜 다양한 형태의 데이터를 동시에 처리하고 이해할 수 있는 모델을 멀티-모달이라고 한다. 멀티-모달의 사용처감정 분석- 사람의 얼굴을 통해 감정을 분석할 수 있지만, 표정과 그에 걸맞는 대사를 결합하면 더욱 감정전달이 확실해 질 수 있다. 이미지 캡션 생성- 이미지의 시각적 특징을 이해하고 설명..