올라마 서버에서 모델을 실행(`pull`/`run`)할 때, 보통 온라인의 올라마 레지스트리나 허깅페이스에서 모델을 내려받습니다. 하지만 사설망과 같은 특별한 환경에서 다음과 같은 고민이 생길 수 있습니다: '1. 인터넷을 쓸 수 없는 곳에서 올라마를 써야합니다'. '2. 정책상 온프레미스에 모델을 보관해두고 사용해야 합니다.' 어떻게 해결할 수 있을까요? 올라마는 API 서버로 GGUF 형식을 지원하는 컨테이너 이미지를 모델로 사용합니다. 그럼 사설 레지스트리에 모델(이미지)을 저장해두고 쓸 수 있을까요? 네, 됩니다. 이 블로그는 사설망에서 올라마를 사용하는 사례를 소개합니다.         ✨ 소개: 그래서 이런 걸 왜 하나요?고객의 프로덕션 환경이 오프라인, 폐쇄망, 사설망 등의 특별한 네트워크인..

지난 포스팅에서 파이썬 코드로 올라마를 사용하는 방법을 소개했습니다. 이 경우에는 개발자가 코드에서 프롬프트와 올라마 서버 모두를 관리하였습니다. 이 방법은 테스트를 진행하기는 간편한 접근입니다. 하지만 클라이언트(프롬프트)와 서버(올라마)가 과도하게 결합되어 있다는 단점이 있습니다. 이번 포스팅에서는 도커를 이용해 파이썬 코드와 올라마 서버를 분리하여 사용하는 방법을 소개합니다. 이를 통해 클라이언트와 서버를 독립적으로 관리할 수 있게 됩니다. 도커 컴포즈를 이용해 재사용 가능한 인프라를 구성합니다. 따라서 올라마 서버는 한 클라이언트에서 분리되어, 다른 클라이언트와도 통신할 수 있는 개선된 형태를 가지게 됩니다.      ✨ 소개 🦙   로컬 환경에서 파이썬 코드로 별다른 설정 없이 올라마를 사용한..

지난 포스팅에서 내 컴퓨터에 올라마를 설치하고 사용하는 방법을 소개했습니다. 이번 블로그에서는 터미널에서 명령어로 올라마를 사용하는 것보다 확장성이 뛰어난 코드로 올라마를 사용하는 방법을 소개합니다. 코드로 올라마를 사용하게 되면 웹이나 앱에서 올라마 API를 이용해 AI 서비스를 제공할 수 있습니다. 올라마를 이용하는 대부분의 서비스는 코드 방식을 이용하고 있습니다. 환경 설정법을 소개하고, 지난 포스팅에서 했던 예시와 동일하게 질문을 해보겠습니다. 사용하는 언어는 파이썬이고 라이브러리는 올라마에서 제공하는 공식 라이브러리를 사용하겠습니다.       ✨ 소개 🦙   코드로 올라마를 사용하기 위한 가장 빠른 방법은 공식 라이브러리를 사용하는 것 입니다. 파이썬은 3.8 이상을 지원합니다. 이 블로그..