메뉴 건너뛰기
.. 내서재 .. 알림
소속 기관/학교 인증
인증하면 논문, 학술자료 등을  무료로 열람할 수 있어요.
한국대학교, 누리자동차, 시립도서관 등 나의 기관을 확인해보세요
(국내 대학 90% 이상 구독 중)
로그인 회원가입 고객센터 ENG
주제분류
인문학
인문학 일반 역사학 철학 종교학 어문학 기타 인문학
사회과학
사회과학 일반 경영학 관광학 교육학 군사학 문헌정보학 법학 사회학 신문방송학 심리과학 정치외교학 지리학 행정학 경제학 무역학 인류학 기타 사회과학
자연과학
자연과학 일반 물리학 생물학 생활과학 수학·통계학 천문학 지구과학 화학 기타 자연과학
공학
공학 일반 건축공학 기계공학 산업공학 재료·에너지공학 전기전자공학 조선해양공학 화학공학 컴퓨터학 기타공학
의약학
의학 일반 간호학 수의학 약학 한의학 기초의학 임상의학 기타 의약학
농수해양학
농수해양학 일반 농학 수산학 식품과학 임학 축산학 해상운송학 기타 농수해양학
예술체육학
예술 일반 디자인 미술 미용 사진 음악학 의상 체육 공연매체예술 기타 예술체육학
복합학
학제간연구 과학기술학 뇌인지과학 기술정책 기타 복합학

ENG

추천
검색
질문

논문 기본 정보

자료유형
학술저널
저자정보
김경민 (서울대학교) 하정우 (서울대학교) 이범진 (서울대학교) 장병탁 (서울대학교)
저널정보
Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.42 No.4
발행연도
2015.4
수록면
451 - 458 (8page)

이용수

표지
📌
연구주제
📖
연구배경
🔬
연구방법
🏆
연구결과
AI에게 요청하기
추천
검색
질문

초록· 키워드

오류제보하기
기존 멀티모달 학습 기법의 대부분은 데이터에 포함된 컨텐츠 모델링을 통한 지식획득보다는 이미지나 비디오 검색 및 태깅 등 구체적 문제 해결에 집중되어 있었다. 본 논문에서는 멀티모달 개념계층모델을 이용하여 만화 비디오로부터 컨텐츠를 학습하는 기법을 제안하고 학습된 모델로부터 등장인물의 특성을 고려한 자막을 생성하는 방법을 제시한다. 멀티모달 개념계층 모델은 개념변수층과 단어와 이미지 패치의 고차 패턴을 표현하는 멀티모달 하이퍼네트워크층으로 구성되며 이러한 모델구조를 통해 각각의 개념변수는 단어와 이미지패치 변수들의 확률분포로 표현된다. 제안하는 모델은 비디오의 자막과 화면 이미지로부터 등장 인물의 특성을 개념으로서 학습하며 이는 순차적 베이지안 학습으로 설명된다. 그리고 학습된 개념을 기반으로 텍스트 질의가 주어질 때 등장인물의 특성을 고려한 비디오 자막을 생성한다. 실험을 위해 총 268분 상영시간의 유아용 비디오 ‘뽀로로’로부터 등장인물들의 개념이 학습되고 학습된 모델로부터 각각의 등장인물의 특성을 고려한 자막 문장을 생성했으며 이를 기존의 멀티모달 학습모델과 비교했다. 실험결과는 멀티모달 개념계층모델은 다른 모델들에 비해 더 정확한 자막 문장이 생성됨을 보여준다. 또한 동일한 질의어에 대해서도 등장인물의 특성을 반영하는 다양한 문장이 생성됨을 확인하였다.
#멀티모달 학습 #개념 학습 #컨텐츠 모델링 #문장 생성 #multimodal learning #concept learning #content modeling #sentence generation

목차

요약
Abstract
1. 서론
2. 멀티모달 개념계층모델
3. 문장 생성 알고리즘
4. 실험결과
5. 결론 및 향후 연구 방향
References

참고문헌 (18)

참고문헌 신청
N. Srivastava / 2012 / Multimodal Learning with Deep Boltzmann Machines / Advances in Neural Information Processing Systems 25(NIPS 2012) :2231~2239 google schola C. Kemp / 2006 / Learning Systems of Concepts with an Infinite Relational Model / Proc. of the 21st Conference on Artificial Intelligence (AAAI 2006) :381~388 google schola R. Kiros / 2014 / Multimodal Neural Language Models / Journal of Machine Learning Research Conference on Machine Learning 32(1):595~603 google schola H. Xiao / 2010 / Toward Artificial Synesthesia:Linking Images and Sounds via Words / NIPS Workshop on Machine Learning for Next Generation Computer Vision Challenges google schola B. T. Zhang / 2008 / Hypernetworks: A molecular evolutionary architecture for cognitive learning and memory / IEEE Computational Intelligence Magazine 3(3):49~63 google schola

함께 읽어보면 좋을 논문

논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!

이 논문의 저자 정보

이 논문과 함께 이용한 논문

문서 주제에 따른 문장 생성을 위한 LSTM 기반 언어 학습 모델
김다해 ,  이지형 한국컴퓨터정보학회 학술발표논문집 2016 .07
의미 중심어에 기반한 한국어 문장 생성 시스템
이강천 ,  서정연 정보과학회논문지(C) 1998 .10
Improving Applicability and Usability of a Concolic Testing Tool CROWN
김현우 ,  김윤호 ,  김문주 Journal of KIISE 2018 .10
Analysis of Case Scenario to Develop a System of Systems Meta-model for Ontology Representation
백영민 ,  박수민 ,  신용준 외 1명 Journal of KIISE 2018 .10
Event Cognition-based Daily Activity Prediction Using Wearable Sensors
이충연 ,  곽동현 ,  이범진 외 1명 Journal of KIISE 2016 .07

최근 본 자료

전체보기

댓글(0)

0