LLMOps2024. 11. 17. 22:25🦙 올라마(Ollama)#3: 내 컴퓨터에서 도커로 올라마 사용하기
지난 포스팅에서 파이썬 코드로 올라마를 사용하는 방법을 소개했습니다. 이 경우에는 개발자가 코드에서 프롬프트와 올라마 서버 모두를 관리하였습니다. 이 방법은 테스트를 진행하기는 간편한 접근입니다. 하지만 클라이언트(프롬프트)와 서버(올라마)가 과도하게 결합되어 있다는 단점이 있습니다. 이번 포스팅에서는 도커를 이용해 파이썬 코드와 올라마 서버를 분리하여 사용하는 방법을 소개합니다. 이를 통해 클라이언트와 서버를 독립적으로 관리할 수 있게 됩니다. 도커 컴포즈를 이용해 재사용 가능한 인프라를 구성합니다. 따라서 올라마 서버는 한 클라이언트에서 분리되어, 다른 클라이언트와도 통신할 수 있는 개선된 형태를 가지게 됩니다. ✨ 소개 🦙 로컬 환경에서 파이썬 코드로 별다른 설정 없이 올라마를 사용한..