Ollama란 무엇이며 Windows에서 사용하는 방법

컴퓨터에서 LLM(Large Language Models)을 실행하려면 가장 쉬운 방법 중 하나는 Ollama를 사용하는 것입니다. Ollama는 사용자 정의가 가능하고 쉽게 액세스할 수 있는 AI 경험을 제공하는 강력한 오픈 소스 플랫폼입니다. 클라우드 기반 플랫폼에 의존하거나 기술적 전문 지식이 필요하지 않고도 다양한 LLM을 쉽게 다운로드, 설치 및 상호 작용할 수 있습니다.

위의 장점 외에도 Ollama는 매우 가볍고 정기적으로 업데이트되므로 로컬 머신에서 LLM을 빌드하고 관리하는 데 매우 적합합니다. 따라서 외부 서버나 복잡한 구성이 필요하지 않습니다. Ollama는 Windows, Linux, macOS를 포함한 여러 운영 체제와 다양한 Docker 환경도 지원합니다.

Ollama 다운로드 및 설치

먼저 Ollama 다운로드 페이지로 가서 OS를 선택한 후 ‘다운로드’ 버튼을 클릭하세요.

다운로드가 완료되면, 그것을 열고 당신의 기계에 설치하세요. 설치가 완료되면 설치 프로그램이 자동으로 닫힙니다.

Windows에서는 작업 표시줄 오버플로 버튼을 클릭하여 숨겨진 아이콘을 확인하여 Ollama가 실행 중인지 확인할 수 있습니다.

Ollama 사용자 정의 및 사용

Ollama가 컴퓨터에 설치되면 가장 먼저 해야 할 일은 데이터를 저장하는 위치를 변경하는 것입니다. 기본적으로 저장 위치는 C:\Users\%username%\.ollama\models이지만 AI 모델은 상당히 클 수 있으므로 C 드라이브가 빠르게 가득 찰 수 있습니다. 그렇게 하려면,

먼저, 작업 표시줄에 있는 Ollama 아이콘을 클릭하고 ‘Ollama 종료’를 클릭하세요.

Ollama를 종료한 후 시작 메뉴를 열고 environment variables‘시스템 환경 변수 편집’을 입력하고 클릭합니다.

시스템 변수 대화 상자가 열리면 ‘고급’ 탭에서 ‘환경 변수’ 버튼을 클릭합니다.

사용자 계정의 ‘새로 만들기’ 버튼을 클릭하고 OLLAMA_MODELS‘변수 이름’ 필드에 이름이 지정된 변수를 만듭니다.

그런 다음 Ollama가 모델을 저장할 디렉토리의 위치를 ’변수 값’ 필드에 입력합니다. 그런 다음 시작 메뉴에서 Ollama를 시작하기 전에 ‘확인’ 버튼을 클릭합니다.

이제 Ollama를 사용할 준비가 되었으며, Meta의 Llama 3 8B, 회사의 최신 오픈소스 AI 모델로 이를 수행할 수 있습니다. 모델을 실행하려면 시작 메뉴에서 명령 프롬프트, Powershell 또는 Windows Terminal 창을 시작합니다.
명령 프롬프트 창이 열리면 입력 ollama run llama3하고 Enter를 누릅니다. 모델은 5GB에 가까워서 다운로드하는 데 시간이 걸립니다.

다운로드가 완료되면 Llama 3 8B를 사용하여 명령줄 창에서 직접 대화할 수 있습니다. 예를 들어 모델에 질문 Who are you?하고 Enter를 눌러 답변을 받을 수 있습니다.

이제 대화를 계속하고 AI 모델에게 다양한 주제에 대해 질문할 수 있습니다. Llama 3는 실수를 하고 환각을 볼 수 있으므로 사용할 때는 조심해야 한다는 점을 명심하세요.
Ollama 모델 라이브러리 페이지를 방문하여 다른 모델을 시도해 볼 수도 있습니다. 또한 Ollama가 제공하는 다양한 기능을 시도해 볼 수 있는 다양한 명령이 있습니다.
모델을 실행하는 동안 세션 변수 설정, 모델 정보 표시, 세션 저장 등 다양한 작업을 수행할 수도 있습니다.
Ollama는 또한 멀티모달 AI 모델을 활용하여 이미지를 인식할 수 있도록 합니다. 예를 들어, LLava 모델은 DALLE-3에서 생성된 이미지를 인식할 수 있습니다. 이미지를 자세히 설명할 수 있습니다.
Ollama를 실행하는 동안 오류가 발생하면 로그를 확인하여 문제가 무엇인지 알아낼 수 있습니다. Win + R바로가기를 사용하여 실행 대화 상자를 열고 explorer %LOCALAPPDATA%\\Ollama # View logsEnter를 누르기 전에 대화 상자 안에 입력합니다.

explorer %LOCALAPPDATA%\\Programs\\Ollama또한 및 와 같은 다른 명령을 사용하여 explorer %HOMEPATH%\\.ollama바이너리, 모델 및 구성 저장 위치를 확인할 수 있습니다.

알아두어야 할 사항

Ollama는 AI 모델을 실행하기 위해 GPU를 자동으로 감지하지만 여러 GPU가 있는 머신에서는 잘못된 GPU를 선택할 수 있습니다. 이를 방지하려면 Nvidia 제어판을 열고 디스플레이를 ‘Nvidia GPU 전용’으로 설정하세요.
디스플레이 모드는 일부 기기에서 사용할 수 없으며, 컴퓨터를 외부 디스플레이에 연결한 경우에도 사용할 수 없습니다.
Windows에서는 작업 관리자를 사용하여 Ollama가 올바른 GPU를 사용하는지 확인할 수 있습니다. 작업 관리자는 GPU 사용량을 표시하고 어떤 GPU가 사용 중인지 알려줍니다.
macOS와 Linux에 Ollama를 설치하는 것은 Windows와 약간 다르지만, LLM을 실행하는 프로세스는 매우 비슷합니다.