지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
초록· 키워드
오류제보하기
본 연구의 목적은 광역 네트워크로 연결된 다수의 봇을 활용하여 단일처리 방식의 시간 지연의 문제점과 병렬처리 방식의 비용증가, 인력낭비에 대한 문제점을 해결할 수 있는 큐를 이용한 다중스레드 방식의 웹 크롤링을 연구한다. 본 연구는 큐를 이용한 다중스레드 방식의 시스템 구성을 바탕으로 독립된 시스템에서 실행하는 어플리케이션을 설계하고 분석한다. 큐를 이용하여 다중 스레드 방식의 웹 크롤러 설계를 제안한다. 또한, 웹 문서의 처리량을 수식에 따라 클라이언트와 스레드 별로 나누어 분석하고, 각각 효율성 비교를 통해 최적의 클라이언트의 개수와 스레드의 개수를 확인 할 수 있다. 제안하는 시스템의 설계 방식은 분산처리를 기반으로 각각의 독립된 환경에서의 클라이언트는 큐와 스레드를 이용하여 빠르고 신뢰성이 높은 웹 문서를 제공한다. 특정 사이트를 대상으로 하는 웹 크롤러 설계가 아닌 범용 웹 크롤러에 큐와 다중 스레드를 적용하여 다양한 웹 사이트를 빠르고 효율적으로 탐색 및 수집하는 시스템이 필요하다.
목차
등록된 정보가 없습니다.
참고문헌 (13)
참고문헌 신청
Allan Heydon / 1999 / Mercator：A Scalable：Extensible Web Crawler / World Wide Web 2 (4) : 219 ~ 229
D. K. Jung / 2012 / A study of Client Response Time Collection Method by changing the Dynamic HTML in the Web Application Server System / Korea Information Science Society 3
H. C. Kim / 2003 / Design and Implementation of a High Performance Web Crawler / Journal of Digital Contents Society 4 (2) : 127 ~ 137
H. Garcia-Molina / 2002 / Parallel Crawler / Proceedings of the 11th International World Wide Web Conference : 124 ~ 135
H. H. Kim / 2007 / A Method of GridIR System Configuration over Distributed Experiment of Web Crawler / Korean Society For Internet Information 8 (2) : 281 ~ 286
D. K. Jung / 2012 / A study of Client Response Time Collection Method by changing the Dynamic HTML in the Web Application Server System / Korea Information Science Society 3
H. C. Kim / 2003 / Design and Implementation of a High Performance Web Crawler / Journal of Digital Contents Society 4 (2) : 127 ~ 137
H. Garcia-Molina / 2002 / Parallel Crawler / Proceedings of the 11th International World Wide Web Conference : 124 ~ 135
H. H. Kim / 2007 / A Method of GridIR System Configuration over Distributed Experiment of Web Crawler / Korean Society For Internet Information 8 (2) : 281 ~ 286
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
실시간 웹 크롤링 분산 모니터링 시스템 설계 및 구현
융합정보논문지
2019 .01
-
[‘게임 체인저’ 꿈꿨던 스레드] 거창한 시작, 불투명한 미래
신문과방송
2023 .09
-
원격수집 방식의 웹기록물 관리를 위한 웹수집기 성능 비교 연구
기록학연구
2022 .10
-
공간정보 웹 서비스의 반응형 웹 적용성
한국지리정보학회지
2015 .01
-
웹 기반 동영상 콘텐츠 이용에 관한 탐색적 연구 : 이용자 속성, 이용 특성, 미디어 이용과 장르 선호를 중심으로
사이버커뮤니케이션학보
2016 .06
-
전자정부 웹사이트 신뢰와 시민의 만족도 및 지속적 사용의도에 관한 연구 - 신뢰와 정보시스템 성공모형을 중심으로 -
한국자치행정학보
2019 .01
-
바람직한 웹마케팅의 방향과 웹광고 성과에 관한 연구
통상정보연구
2015 .03
-
스레드, 트위터 잡고 신 SNS 강자 될까?
지방정부
2023 .08
-
Transient analysis of Mt/G/s queues
한국경영과학회 학술대회논문집
2015 .04
-
네이버 애널리틱스를 이용한 지자체 관광웹사이트 웹로그 분석 : 대구광역시 사례를 중심으로
관광연구
2018 .01
-
X(트위터) vs 스레드, 단문 메시지 플랫폼의 경쟁이 의미하는 것
언론중재
2023 .09
-
한･일 웹 아카이빙 정책에 관한 비교 연구
일본근대학연구
2017 .01
-
한국형 웹 콘텐츠 접근성 지침(KWCAG) 2.1의 공간정보 웹 시각화 적용 기초
지적과 국토정보
2016 .01
-
웹 크롤링을 이용한 유해사이트 정보 수집 방법
디지털포렌식연구
2021 .09
-
웹출판의 발전과 과제
한국출판학연구
2017 .01
-
웹애널리틱스를 이용한 아카이브 이용자 분석 사례 연구
기록학연구
2015 .07
-
웹 아카이빙을 위한 정보자원의 자동수집방법 개발 - 재난안전정보를 중심으로 -
한국기록관리학회지
2017 .11
-
[Global Briefing] 1억명 모은 스레드의 플랜_DM 더하면 트위터 넘을까
더스쿠프
2023 .07
-
[Money : Crypto-currency] 들쑥날쑥 가상자산 3대 변수는 : 반감기〈비트코인〉·업그레이드〈이더리움〉·웹 3.0 서비스
매경럭스맨
2023 .05
-
대만과 한국의 웹출판 비교 연구 : 웹소설과 웹문학을 중심으로
대만연구
2017 .12
이 논문의 저자 정보
최근 본 자료
댓글(0)
0