올라마 서버에서 모델을 실행(`pull`/`run`)할 때, 보통 온라인의 올라마 레지스트리나 허깅페이스에서 모델을 내려받습니다. 하지만 사설망과 같은 특별한 환경에서 다음과 같은 고민이 생길 수 있습니다: '1. 인터넷을 쓸 수 없는 곳에서 올라마를 써야합니다'. '2. 정책상 온프레미스에 모델을 보관해두고 사용해야 합니다.' 어떻게 해결할 수 있을까요? 올라마는 API 서버로 GGUF 형식을 지원하는 컨테이너 이미지를 모델로 사용합니다. 그럼 사설 레지스트리에 모델(이미지)을 저장해두고 쓸 수 있을까요? 네, 됩니다. 이 블로그는 사설망에서 올라마를 사용하는 사례를 소개합니다.         ✨ 소개: 그래서 이런 걸 왜 하나요?고객의 프로덕션 환경이 오프라인, 폐쇄망, 사설망 등의 특별한 네트워크인..

지난 포스팅에서 내 컴퓨터에 올라마를 설치하고 사용하는 방법을 소개했습니다. 이번 블로그에서는 터미널에서 명령어로 올라마를 사용하는 것보다 확장성이 뛰어난 코드로 올라마를 사용하는 방법을 소개합니다. 코드로 올라마를 사용하게 되면 웹이나 앱에서 올라마 API를 이용해 AI 서비스를 제공할 수 있습니다. 올라마를 이용하는 대부분의 서비스는 코드 방식을 이용하고 있습니다. 환경 설정법을 소개하고, 지난 포스팅에서 했던 예시와 동일하게 질문을 해보겠습니다. 사용하는 언어는 파이썬이고 라이브러리는 올라마에서 제공하는 공식 라이브러리를 사용하겠습니다.       ✨ 소개 🦙   코드로 올라마를 사용하기 위한 가장 빠른 방법은 공식 라이브러리를 사용하는 것 입니다. 파이썬은 3.8 이상을 지원합니다. 이 블로그..

올라마(Ollama)는 사용자가 간단하게 AI 라이브 서비스를 만들 수 있는 도구입니다. 내 맥북이나 그램 노트북에 나만의 작은 GPT 서버를 만들고 프롬프트를 붙여서 개인 비서로 쓸 수도 있습니다. 로컬에서 사용하면 비록 속도는 상용 GPT보다 느리지만 대형 언어 모델 (LLM)의 과정을 직접 경험하고, 회사에서 사용할 챗봇을 만들 수 있는 엄청난 도구입니다. 이를 위해 올라마는 모델을 서빙하는 API 서버로 동작합니다. 그리고 GPT 같은 파운데이션 모델 이외에도, 사전 지식에 사용하는 임베딩 모델도 서빙할 수 있습니다. 이 블로그에서는 올라마를 설치하고 사용하는 방법을 소개합니다.    ✨ 소개 🦙 대형 언어 모델(LLMs, Large Language Models)을 만들고, 실행하고, 공유합니..