지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2021.6
- 수록면
- 50 - 60 (11page)
- DOI
- 10.5573/ieie.2021.58.6.50
이용수
초록· 키워드
오류제보하기
강력한 GPU 기반의 컴퓨팅 자원을 바탕으로, 우수한 성능의 딥러닝 모델이 대거 출현하였다. 해당 모델들을 컴퓨팅 자원이 충분하지 않은 IoT/Edge device 환경에 적용하기 위해 모델 압축(model compression) 기법의 필요성이 증가하고 있다. 본 논문에서는 Tensorflow 2 Framework의 ImageNet으로 학습된 Resnet50, VGG19 Model을 전이 학습을 이용하여 CIFAR-10 Dataset으로 재학습시킨 후, 모델 압축 기법 중 지식 증류(Knowledge Distillation), 가중치 가지치기(Weight Pruning), 양자화(Quantization)의 3가지 기법을 활용하여 모델 압축 전/후 성능을 비교하였다. 모델 크기와 한 이미지 당 처리 시간, 정확도를 단일 GPU를 통해 GPU 서버와 NVIDIA Jetson Nano 환경에서 측정 후 비교하여, 각 기법에 대한 장단점을 분석했다. 지식증류 기법은 student 모델에 의해 모델의 크기와 inference 실행 시간이 결정이 되지만, 학습량이 정확도에 미치는 영향이 크다는 것을 알 수 있었다. 가중치 가지치기 기법은 제거되는 가중치의 sparsity에 의해 정확도 및 모델의 크기가 결정이 된다. 마지막 양자화 기법은 파일사이즈의 높은 압축률과 정확도를 보였다. 하지만, inference 시간이 다른 모델 압축 기법에 비해 확연히 길어지며, 양자화 인식 훈련을 거치지 않고 훈련 후 양자화만 적용하였을 때, 충분한 정확도가 나온다면 양자화 인식훈련은 오히려 정확도의 감소를 야기할 수 있다는 단점을 보였다.
목차
요약
Abstract
Ⅰ. 서론
Ⅱ. 관련 연구
Ⅲ. Dataset과 학습모델
Ⅳ. 실험
Ⅴ. 결론
REFERENCES
참고문헌 (12)
참고문헌 신청
G. E. Hinton, O. Vinyals, and J. Dean, “Distilling the knowledge in a neural network,” in NIPS Deep Learning Workshop, 2014.
Han, Song, et al. “Learning both weights and connections for efficient neural network.” Advances in neural information processing systems, 2015
He, Kaiming, et al. “Deep residual learning for image recognition.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.
K. Nan, S. Liu, J. Du and H. Liu, “Deep model compression for mobile platforms: A survey,” in Tsinghua Science and Technology, vol. 24, no. 6, pp. 677-693, Dec. 2019, doi: 10.26599/TST.2018.9010103.
Song Han, Huizi Mao, and William J Dally. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding. In ICLR, 2016
Han, Song, et al. “Learning both weights and connections for efficient neural network.” Advances in neural information processing systems, 2015
He, Kaiming, et al. “Deep residual learning for image recognition.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.
K. Nan, S. Liu, J. Du and H. Liu, “Deep model compression for mobile platforms: A survey,” in Tsinghua Science and Technology, vol. 24, no. 6, pp. 677-693, Dec. 2019, doi: 10.26599/TST.2018.9010103.
Song Han, Huizi Mao, and William J Dally. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding. In ICLR, 2016
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
인공신경망 모델 압축을 위한 적응적 양자화 기반 지식 증류 기법
전자공학회논문지
2020 .09
-
비디오 인코더를 통한 딥러닝 모델의 정수 가중치 압축
방송공학회논문지
2021 .11
-
양자화를 이용한 뉴럴 네트워크의 점진적 압축 기법
한국정보과학회 학술발표논문집
2020 .07
-
임베디드 시스템에서의 객체 분류를 위한 인공 신경망 경량화 연구
로봇학회 논문지
2022 .06
-
지식증류를 통한 딥러닝 기반 정지영상 압축 모델의 성능 향상에 관한 연구
대한전자공학회 학술대회
2022 .06
-
임베디드 시스템에서의 객체 탐지 네트워크 양자화
대한전자공학회 학술대회
2023 .06
-
노면 인식 딥러닝 모델의 온 디바이스 AI 적용을 위한 양자화 모델 추론 성능 평가
대한전자공학회 학술대회
2022 .06
-
DNN 계층별 출력 뉴런 수에 기반한 고속 양자화 기법
대한전자공학회 학술대회
2024 .11
-
임베디드 시스템을 위한 양자화 및 가지치기 기반 스핀들 베어링 이상탐지 모델 경량화에 관한 연구
한국정밀공학회 학술발표대회 논문집
2024 .11
-
균일 양자화 기법의 성능 비교 분석
한국통신학회 학술대회논문집
2024 .11
-
중요도 기반 딥러닝 네트워크 학습 중 양자화 기법
대한전자공학회 학술대회
2022 .06
-
영상 압축기술을 통한 가중치 압축방법
한국방송미디어공학회 학술발표대회 논문집
2020 .11
-
심층신경망의 Quantization 학습에 대한 시간과 정확도의 Trade-Off 분석 및 최소 학습량 도출
한국정보과학회 학술발표논문집
2020 .12
-
딥러닝 네트워크 압축을 위한 양자화 오프셋의 바이어스 임베딩 기법
한국방송미디어공학회 학술발표대회 논문집
2020 .11
-
희소한 큰 가중치를 가지는 중앙 집중된 양자화를 이용한 효과적인 심층신경망 압축 방법
한국정보과학회 학술발표논문집
2019 .06
-
양자화를 통한 뎁스 추정 모델의 경량화
대한전기학회 학술대회 논문집
2024 .07
-
생성 언어 모델 Ternary Weight 양자화 인식 훈련을 위한 지식 증류 기법의 이해
대한전자공학회 학술대회
2023 .06
-
경량 딥러닝 모델의 초저정밀도 양자화를 위한 학습 방식의 개선
대한전자공학회 학술대회
2020 .11
-
양자화가 얼굴 인식 성능에 끼치는 영향 분석
한국정보과학회 학술발표논문집
2022 .12
-
Layer-wise Knowledge Distillation (LKD)와 Hessian-based Rounding을 이용한 저비용 LLM 양자화
대한전자공학회 학술대회
2024 .06
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2021-569-001878891