한국정보기술학회
한국정보기술학회논문지 제9권 제2호
2011.2, 65-75 (총11페이지)
Illumination-Robust Lip Detection for Smartphone Applications
Thanh Trung Pham, Min Gyu Song, Jin Young Kim, Seung You Na
영어 초록
Natural lighting condition has been the limitation of automatic lip detection in the lip reading. To cope with the problem, we present a robust lip detection algorithm applicable to lip reading in the smartphone environments. Our proposed lip detection approach utilizes the partial color based clustering, clustering with geometric feature and fuzzy confidence based verification. The partial clustering into multiple clusters based on color information can model the skin, lips and other regions sufficiently and enables to avoid the effect of illumination on the lip images. The geometry based clustering is used to efficiently separate lips from other regions and combine the discrete components of one facial feature. The lip confidence using fuzzy rules is introduced to select the best segmented lip candidate. To validate the proposed algorithm, we constructed database in standard, indoor, outdoor environment. The experimental results show that in each environment the lip detection performance of our proposed method enhanced at abut 7%, 13%, 26% than conventional approaches. Through the experiments, we have shown the robustness against illumination and lightweight performance of our proposed algorithm compared to the conventional approaches.
한국어 초록
립리딩 시스템에서 자동 입술 검출의 성능은 자연 조명 환경에 따른 제약을 받는다. 이 문제를 해결하기 위해 본 논문에서는 스마트폰 환경에서 립리딩에 적용될 수 있는 강인한 입술 검출 알고리듬을 제안한다. 제안된 입술 검출 방법은 부분 색상을 활용한 클러스터링과 기하학적 특징기반 클러스터링 그리고 퍼지 신뢰도를 통해 검증단계로 구성된다. 색상정보를 기반으로 이루어진 여러 개의 클러스터들에서 부분 색상을 이용한 클러스터링은 피부나 입술 또는 다른 영역을 효과적으로 모델링할 수 있고, 입술 이미지에서 조명의 영향을 피할 수 있다. 기하학적 특징 기반 클러스터링은 다른 부분에서 입술영역을 효과적으로 분리하거나 서로 분리된 얼굴의 특징요소들을 결합하는데 사용된다. 퍼지규칙을 이용한 입술의 신뢰도는 분할된 입술의 후보영역들 중에서 최상의 후보를 선택하는데 이용된다. 제안된 알고리듬을 검증하기 위해 본 연구에서는 표준, 실내, 실외 환경에서 데이터베이스를 구축하였다. 실험결과, 제안된 알고리듬이 종래의 방법들에 비하여 표준, 실내, 실외 환경에서 약 7%, 13%, 26%의 높은 정확도를 보였고 이를 통해 조명의 변화에 보다 강인함을 검증하였다.
목차
Abstract
요약
Ⅰ. Introduction
Ⅱ. Details of proposed approach
Ⅲ. Experimental results
Ⅳ. Conclusion
References
Authors
키워드
lip detection, lip segmentation, clustering, fuzzy logic, illumination changes, lip reading

참고문헌 (9)

  • N. Eveno , 2001 , New color transformation for lips segmentation , IEEE 4th Workshop on Multimedia Signal Processing : 3 ~ 8
  • X. Zhang , 2000 , Lip feature extraction towards an automatic speechreading system , IEEE International Conference on Image Processing, Vancouver : 226 ~ 229
  • O. Hua , 2005 , A new lip feature representation method for video-based bimodal authentication , NICTA- HCSNet Multimodal User Interaction Workshop : 33 ~ 37
  • T. T. Pham , 2008 , A Robust Lip Center Detection in Cell Phone Environment , IEEE Symposium on Signal Processing and Information Technology : 390 ~ 395
  • J. Luettin , 1996 , Speechreading using shape and intensity information , IEEE International Conference on Spoken Language Processing : 58 ~ 61
  • A. W. C. Liew , 1999 , Fuzzy segmentation of lip image using cluster analysis , European Conference on Speech Communication and Technology : 335 ~ 338
  • A.W.C. Liew , 2003 , Segmentation of color lip images by spatial fuzzy clustering , IEEE Trans. Fuzzy Systems 11 (4) : 542 ~ 549
  • S.H. Leung , 2004 , Lip image segmentation using fuzzy clustering incorporating an elliptic shape function , IEEE Trans. Image Processing 13 (1) : 51 ~ 62
  • T. T. Pham , 2008 , Robust Eye Localization for Lip Reading in Mobile Environment , Joint 4thInt’l Conf. on Soft Computing and Intelligent Systems and 9thInt’l Sym. on Advanced Intelligent Systems : 385 ~ 388

이 논문이 수록된 권·호 내 논문

한국정보기술학회논문지 제9권 제2호