올라마 서버에서 모델을 실행(`pull`/`run`)할 때, 보통 온라인의 올라마 레지스트리나 허깅페이스에서 모델을 내려받습니다. 하지만 사설망과 같은 특별한 환경에서 다음과 같은 고민이 생길 수 있습니다: '1. 인터넷을 쓸 수 없는 곳에서 올라마를 써야합니다'. '2. 정책상 온프레미스에 모델을 보관해두고 사용해야 합니다.' 어떻게 해결할 수 있을까요? 올라마는 API 서버로 GGUF 형식을 지원하는 컨테이너 이미지를 모델로 사용합니다. 그럼 사설 레지스트리에 모델(이미지)을 저장해두고 쓸 수 있을까요? 네, 됩니다. 이 블로그는 사설망에서 올라마를 사용하는 사례를 소개합니다.         ✨ 소개: 그래서 이런 걸 왜 하나요?고객의 프로덕션 환경이 오프라인, 폐쇄망, 사설망 등의 특별한 네트워크인..

지난 포스팅에서 파이썬 코드로 올라마를 사용하는 방법을 소개했습니다. 이 경우에는 개발자가 코드에서 프롬프트와 올라마 서버 모두를 관리하였습니다. 이 방법은 테스트를 진행하기는 간편한 접근입니다. 하지만 클라이언트(프롬프트)와 서버(올라마)가 과도하게 결합되어 있다는 단점이 있습니다. 이번 포스팅에서는 도커를 이용해 파이썬 코드와 올라마 서버를 분리하여 사용하는 방법을 소개합니다. 이를 통해 클라이언트와 서버를 독립적으로 관리할 수 있게 됩니다. 도커 컴포즈를 이용해 재사용 가능한 인프라를 구성합니다. 따라서 올라마 서버는 한 클라이언트에서 분리되어, 다른 클라이언트와도 통신할 수 있는 개선된 형태를 가지게 됩니다.      ✨ 소개 🦙   로컬 환경에서 파이썬 코드로 별다른 설정 없이 올라마를 사용한..

바쁜 맥 사용자를 위한 도커 및 쿠버네티스 도구인 오브스택을 소개합니다. 기존 도커의 컨테이너 방식은 리눅스 VM을 사용하는 방식으로, 맥에 최적화된 가상화가 아니었습니다. 오브스택은 애플의 Virtualization Framework를 활용한 도커의 대체 도구로, 쿠버네티스와 도커 소켓을 지원하는 맥에 최적화된 컨테이너 도구입니다. 따라서 docker, docker-compose, kubectl(별도 설치) 명령어를 모두 사용할 수 있습니다. 이 블로그에서는 오브스택의 소개, 설치 및 사용 방법을 살펴보겠습니다.    ✨ 소개오브스택은 Orbital Labs에서 개발한 도구로, 애플의 독자적인 Virtualization Framework 기술로 최적화한 컨테이너 지원 도구입니다. 맥 환경에서 기존의 ..