🦙 올라마(Ollama)#5: 사설망에서 올라마(Ollama) LLM 사용하기
LLMOps2024. 11. 23. 20:10🦙 올라마(Ollama)#5: 사설망에서 올라마(Ollama) LLM 사용하기

올라마 서버에서 모델을 실행(`pull`/`run`)할 때, 보통 온라인의 올라마 레지스트리나 허깅페이스에서 모델을 내려받습니다. 하지만 사설망과 같은 특별한 환경에서 다음과 같은 고민이 생길 수 있습니다: '1. 인터넷을 쓸 수 없는 곳에서 올라마를 써야합니다'. '2. 정책상 온프레미스에 모델을 보관해두고 사용해야 합니다.' 어떻게 해결할 수 있을까요? 올라마는 API 서버로 GGUF 형식을 지원하는 컨테이너 이미지를 모델로 사용합니다. 그럼 사설 레지스트리에 모델(이미지)을 저장해두고 쓸 수 있을까요? 네, 됩니다. 이 블로그는 사설망에서 올라마를 사용하는 사례를 소개합니다.         ✨ 소개: 그래서 이런 걸 왜 하나요?고객의 프로덕션 환경이 오프라인, 폐쇄망, 사설망 등의 특별한 네트워크인..

image