0. OpenVINO 란?

(인터넷에서 OpenVINO를 검색할 정도라면, 분명 어느정도는 AI에 대해서 기본 지식을 가지고 있다고 생각하고 글을 쓴다.)

 

AI 분야에서 돈이 많이 드는 작업은 아무래도 학습 과정일 것이다.

학습할 데이터를 구하는 것에 많은 자원(돈과 시간)이 필요하고, 

이 데이터들을 학습(training)시킬 때에 비싼 하드웨어가 필요하기에 그럴 것이다.

물론 GPU 또는 NPU 없이 학습시킬 수도 있다. 그렇지만 해보면 안다. 할 짓이 못된다는 것을....

 

그렇지만, 위의 작업들을 잘 보면 일회성이란 생각이 들 것이다. 맞다맞다.. 진짜 일회성은 아니지.

그렇지만 가동율에는 많이 차이가 날 것이다.

그리고 학습시킨 모델을 저사양 컴퓨터에서 사용하고자 할 때도 성능이 정말 다 좋아야 할까?

(여기서는 컴퓨터가 실제 PC만을 이야기하는 것이 아니라 processor가 있는 모든 전자기기라고 하자)

 

그렇다. 일반적으로 추론하는 것에는 학습시킬 때 만큼의 자원이 필요하지 않는다.

그래서 일반적인 컴퓨터 사양에서 원활히 작동할 수 있도록 하는 툴을 Intel에서 만들었고, 이것이 OpenVINO이다.

 

그럼, 인텔이 왜??? 이제 목적을 생각해보자. 

현재 GPU시장은 NVIDIA가 제일 많이 차지하고, 쩌~~~ 뒤에 AMD가 있다. 인텔은... 잘 안보인다...

그러면 인텔이 AI시장을 접근하는 방법은? 

열심이는 하고 있지만, 성능 좋은 GPU를 만들어서 제품을 시장에 내놓는다? 

 

당장은 그것보단 현재 시장에 가장 많이 깔려있고,

바로 사용할 수 있는 컴퓨터에서 AI를 사용할 수 있도록 하는 것이 더 적합하지 않을까?

 

위의 그림에서 보듯이 여러가지 AI framework들을 포용할 수 있게 만들게 만들어 

수많은 Intel platform에서 작동하도록 변환시켜주는 것이 OpenVINO이다.

즉, '우리꺼 써도 AI 다 돌릴 수 있어~' 이런 전략이 아닐까?

 

이제 컴퓨터에 OpenVINO를 설치하고 내 컴퓨터에서 작동하는 AI의 맛을 보도록 하자.

사용하는 컴퓨터 사양은 아래와 같다.

 

CPU: 11th Gen Intel(R) Core(TM) i7-1185G7 @ 3.00GHz

OS: Windows 10 Pro

RAM: 32.0GB

PYTHON: Python 3.11.9

 

2024.07.08