3-7. Hugging Face Model Hub with OpenVINO™

참고: https://docs.openvino.ai/2024/notebooks/hugging-face-hub-with-output.html

Hugging Face Model Hub with OpenVINO™ — OpenVINO™ documentation

 

Hugging Face(HF)사에서 만든 미리 학습된 모델들을 모아놓은 곳을 Hugging Face Model Hub라고 말한다.

이번 예시에서는 이 hub에서 모델을 받아서, OpenVINO IR 형태로 변환하여 사용하는 방법을 익힌다.

 

먼저, 필요한 패키지들을 설치하고 import한다. transformers, torch, ipywidgets

 

 

transformers와 torch는 다른 url을 참조하는 것에 주의하자.

 

우리가 사용할 모델은 roberta text sentiment classification 인데 문자열을 입력받아서 기분이 좋은지 나쁜지 판별하는 것으로, 자세한 내용은 링크를 참조하자. 이 모델 사용법 또한 링크에 설명되어 있어서 여기서는 그대로 따른다.

 

이제 모델에 문장을 넣고 추론 결과를 보자.

 

위 text가 긍정적인 의미를 가졌다고 추론 한 것이다.

 

 

 

여기까지는 이 모델이 어떤 것인지 알아보았고, 이제 OpenVINO IR 변형하여 다시 추론해보자.

변형하는 방법은 convert_model을 아래와 같이 사용하는 것이다.

 

현재 device 종류를 적용하기 위해서는 변형된 모델을 컴파일하고 추론해야 한다.

 

값이 미세하게 차이가 나지만 무시할 만하다.

 

이제 Optimum Intel를 소개할 차례인데, 인텔 아키텍쳐에서 트랜스포머와 디퓨져의 양 끝단의 파이프라인을 가속하는 라이브러리이다. (참조: https://huggingface.co/docs/optimum/main/intel/openvino/inference)

일단 사용하면서 알아보자. 

 

이 라이브러리를 사용하기 위해 패키지를 설치해야하고 모델을 다시 받아와야 한다.

여기까지가 Optimum Intel 사용법이다. 추론하는 뒷부분은 동일하다.

 

그럼 이제 text를 변경해서 잘 적용되는지 알아보자.

 

구름낀 날은 부정적이거나 중립적이라고 판단한다.

 

역시... 생활비 이야기는 부정적...

 

Intel OpenVINO를 사용하는 분들께 조금이나마 도움이 되었으면 좋겠다.