개인구독
소속 기관이 없으신 경우, 개인 정기구독을 하시면 저렴하게
논문을 무제한 열람 이용할 수 있어요.
지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2024.9
- 수록면
- 1,063 - 1,070 (8page)
- DOI
- 10.6109/jkiice.2024.28.9.1063
이용수
초록· 키워드
오류제보하기
멀티모달은 여러 출처 또는 모달리티의 데이터를 조합하거나 통합하는 것이다. 멀티모달 데이터 통합은 이미징, 임상, 유전학 데이터 등 다양한 소스를 병합하여 환자의 건강에 대한 더 포괄적인 시각을 제공한다. 이 과정은 딥러닝에 의해 촉진되어 생체 의학 분야에서 중요한 기술로 자리 잡고 있으며, 환자의 건강에 대한 종합적인 이해를 가능하게 하고 개선된 의사 결정을 촉진한다. 이 연구는 멀티모달 데이터 통합 기술의 일반적인 파이프라인을 개괄적으로 설명한다. 먼저 다양한 유형의 생체 의학 데이터를 살펴보고 이러한 모달리티의 특징 추출 및 전처리 기술을 탐색한다. 또한, 데이터 수준, 특징 수준, 결정 수준의 융합 방법을 자세히 논의하며, 각각의 융합 접근 방식이 가장 효과적인 상황을 명시한다. 이 리뷰는 멀티모달 데이터 융합의 사용 사례와 기존 응용 프로그램을 다루며, 이들이 질병 진단, 예후, 치료 계획 및 개인 맞춤 의학에 미치는 영향을 강조한다.
목차
요약
ABSTRACT
Ⅰ. Introduction
Ⅱ. Image and Non-Image Data Modalities: Preprocessing and Feature Extraction
Ⅲ. MULTIMODAL DATA FUSION
Ⅳ. Use-cases and existing applications
Ⅴ. Discussion and Limitations
Ⅵ. Future work and Conclusion
REFERENCES
참고문헌 (25)
참고문헌 신청
J. Lipkova, R. J. Chen, B. Chen, M. Y. Lu, M. Barbieri, D. Shao, A. J. Vaidya, C. Chen, L. Zhuang, D. F.K. Williamson, M. Shaban, T. Y. Chen, and F. Mahmood, “Artificial intelligence for multimodal data integration in oncology,” Cancer cell, vol. 40, no. 10, pp. 1095–1110, Oct. 2022. DOI: 10.1016/j.ccell.2022.09.012.
L. R. Soenksen, Y. Ma, C. Zeng, L. Boussioux, K. V. Carballo, L. Na, H. M. Wiberg, M. L. Li, I. Fuentes, and D. Bertsimas, “Integrated multimodal artificial intelligence framework for healthcare applications,” NPJ digital medicine, vol. 5, no. 149, p. 1-10, Sep. 2022. DOI: 10.1038/s41746-022-00689-4.
A. S. Panayides, S. Member, A. Amini, N. D. Filipovic, A. Sharma, S. A. Tsaftaris, A. Young, D. Foran, N. Do, S. Golemati, T. Kurc, K. Huang, K. S. Nikita, B. P. Veasey, M. Zervakis, J. H. Saltz, and C. S. Pattichis “AI in medical imaging informatics: current challenges and future directions,” IEEE journal of biomedical and health informatics, vol. 24, no. 7, pp. 1837-1857, May 2020. DOI: 10.1109/JBHI.2020.2991043.
B. S. Hilabi, S. A. Alghamdi, and M. Almanaa, “Impact of magnetic resonance imaging on healthcare in low-and middle-income countries,” Cureus, vol. 15, no. 4, Apr. 2023. DOI: 10.7759/cureus.37698.
B. A. Cociu, S. Das, L. Billeci, W. Jamal, K. Maharatna, S. Calderoni, A. Narzisi, and F. Muratori, “Multimodal functional and structural brain connectivity analysis in autism: A preliminary integrated approach with eeg, fmri, and dti,” IEEE Transactions on Cognitive and Developmental Systems, vol. 10, no. 2, pp. 213-226, Jun. 2018. DOI: 10.1109/TCDS.2017.2680408.
L. R. Soenksen, Y. Ma, C. Zeng, L. Boussioux, K. V. Carballo, L. Na, H. M. Wiberg, M. L. Li, I. Fuentes, and D. Bertsimas, “Integrated multimodal artificial intelligence framework for healthcare applications,” NPJ digital medicine, vol. 5, no. 149, p. 1-10, Sep. 2022. DOI: 10.1038/s41746-022-00689-4.
A. S. Panayides, S. Member, A. Amini, N. D. Filipovic, A. Sharma, S. A. Tsaftaris, A. Young, D. Foran, N. Do, S. Golemati, T. Kurc, K. Huang, K. S. Nikita, B. P. Veasey, M. Zervakis, J. H. Saltz, and C. S. Pattichis “AI in medical imaging informatics: current challenges and future directions,” IEEE journal of biomedical and health informatics, vol. 24, no. 7, pp. 1837-1857, May 2020. DOI: 10.1109/JBHI.2020.2991043.
B. S. Hilabi, S. A. Alghamdi, and M. Almanaa, “Impact of magnetic resonance imaging on healthcare in low-and middle-income countries,” Cureus, vol. 15, no. 4, Apr. 2023. DOI: 10.7759/cureus.37698.
B. A. Cociu, S. Das, L. Billeci, W. Jamal, K. Maharatna, S. Calderoni, A. Narzisi, and F. Muratori, “Multimodal functional and structural brain connectivity analysis in autism: A preliminary integrated approach with eeg, fmri, and dti,” IEEE Transactions on Cognitive and Developmental Systems, vol. 10, no. 2, pp. 213-226, Jun. 2018. DOI: 10.1109/TCDS.2017.2680408.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
멀티모달 데이터를 활용한 강화학습 실험
한국통신학회 학술대회논문집
2022 .06
-
멀티모달 데이터의 학습 목적별 품질검증 방안 고찰
한국통신학회 인공지능 학술대회 논문집
2024 .09
-
A Study on Deep Multimodal Learning Methods
대한전자공학회 학술대회
2022 .06
-
멀티모달 데이터를 활용한 특징 기반 감정 인식 모델
한국정보과학회 학술발표논문집
2023 .06
-
멀티모달 접근을 통한 딥러닝 기반 감정인식 알고리즘
한국통신학회 학술대회논문집
2019 .06
-
대규모 멀티모달 모델 학습용 데이터의 구축 현황 분석
한국통신학회 학술대회논문집
2024 .06
-
멀티모달 대규모 언어 모델 기술 분석
한국통신학회 학술대회논문집
2024 .06
-
멀티 모달 기반 Turn-Taking
대한전자공학회 학술대회
2015 .11
-
멀티모달 기반 라이프로그 데이터 통합방법 제시 및 평가
한국정보과학회 학술발표논문집
2023 .06
-
Multimodal Data Integration for Disease Diagnosis
한국정보통신학회 종합학술대회 논문집
2024 .05
-
멀티모달 학습 기반의 3D 의류 데이터 인코딩
한국정보과학회 학술발표논문집
2024 .12
-
얼굴 및 멀티모달 데이터를 활용한 감정 인식 연구 동향 조사
한국통신학회 학술대회논문집
2024 .11
-
멀티 모달 데이터를 활용한 결정 융합 기반 감정 분류 모델
한국정보과학회 학술발표논문집
2022 .06
-
긴급 상황의 정확한 인지를 위한 멀티 모달 딥러닝 방법 설계
제어로봇시스템학회 국내학술대회 논문집
2019 .05
-
멀티모달 생체신호를 이용한 딥러닝 기반 수면 단계 분류
한국정보과학회 학술발표논문집
2024 .12
-
모달리티 훼손에 강인한 멀티모달 기반 의미론적 세분화 모델을 위한 모달리티 안정화 학습 전략
한국차세대컴퓨팅학회 논문지
2023 .06
-
멀티모달 딥러닝을 통한 성격 유형 분류
대한산업공학회 추계학술대회 논문집
2024 .10
-
비전-언어 멀티모달 모델 학습용 데이터 품질검증 방법 및 적용 사례
한국통신학회 인공지능 학술대회 논문집
2024 .09
-
음성 및 텍스트 데이터를 이용한 멀티모달 감정 인식 모델 개발
한국정보과학회 학술발표논문집
2024 .06
-
멀티모달 센서 데이터 기반 특징별 중요도 비교를 통한 수면 유형 군집화 연구
한국정보과학회 학술발표논문집
2023 .06
이 논문의 저자 정보
이 논문과 함께 이용한 논문
멀티모달 텍스트-이미지 정렬을 활용한 블라인드 폭우 얼굴 영상 복원
손창환
,
최연우
전기전자학회논문지
2024
.12
3D 애셋 관리에서의 멀티모달 기반 감성 분석을 위한 LLaVA 및 VisualBERT 기반의 감성값 대치 방법
권상지
,
이은서
,
허지혜
외 1명
지능정보연구
2024
.09
생성형 이미지를 이용한 멀티모달 장면 검색 시스템
이주희
,
양효걸
,
강제원
외 2명
방송공학회논문지
2024
.05
FMM과 LMM 서비스 권역을 고려한 부산광역시 대중교통 접근성 평가에 관한 연구
김아름
,
김민정
,
정대한
외 2명
대한교통학회 학술대회지
2019
.09
최근 본 자료
댓글(0)
0