Ollama là gì? Cài đặt, lệnh cơ bản, API cổng 11434, Ollama Cloud, LM Studio và Open WebUI

Ollama là gì?

Ollama là phần mềm mã nguồn mở (giấy phép MIT) giúp tải và chạy các mô hình ngôn ngữ lớn có trọng số mở, như Qwen, Gemma, gpt-oss, DeepSeek hay Llama, ngay trên máy tính của bạn. Từ tháng 9/2025, Ollama có thêm Ollama Cloud để chạy các model quá lớn cho máy cá nhân trên máy chủ của hãng.

Ollama có ứng dụng có giao diện cho macOS và Windows từ ngày 30/07/2025, bên cạnh dòng lệnh vốn có. Bản mới tại thời điểm viết là v0.40.11 (24/10/2026); từ v0.40.0, máy Mac chip Apple chạy model bằng MLX theo mặc định.

Vì sao chạy model trên máy của mình?

Chạy model cục bộ hợp với một số nhu cầu cụ thể:

• Dữ liệu ở lại trên máy: prompt và tài liệu không gửi lên dịch vụ bên ngoài, hợp với tài liệu nội bộ cần giữ kín.
• Chạy được khi không có mạng, sau khi đã tải model về.
• Không tính tiền theo token: chi phí nằm ở phần cứng và điện năng.
• Thử nhiều model mở, tạo biến thể riêng (đổi system prompt, tham số) bằng Modelfile.

Cài Ollama trên macOS, Windows và Linux

macOS và Linux cài bằng một dòng lệnh; Windows chạy lệnh tương ứng trong PowerShell (irm https://ollama.com/install.ps1 | iex) hoặc tải bộ cài OllamaSetup.exe; macOS cũng có bản Ollama.dmg để kéo vào Applications. Máy chủ chạy Docker dùng image ollama/ollama.

Yêu cầu theo tài liệu: macOS 14 (Sonoma) trở lên, máy Mac chip Intel chỉ chạy bằng CPU; Windows 10 bản 22H2 trở lên, card NVIDIA cần driver 551.61 trở lên, bộ cài cần tối thiểu 4 GB ổ đĩa và không đòi quyền Administrator. macOS và Windows tự cập nhật; trên Linux, chạy lại lệnh cài để lên bản mới.

curl -fsSL https://ollama.com/install.sh | sh
ollama -v

Các lệnh Ollama cơ bản

Chạy ollama không kèm lệnh sẽ mở các bước thiết lập: đăng nhập để dùng model cloud, hoặc chọn model để chạy cục bộ. Các lệnh hay dùng:

ollama run gemma4      # tự tải model nếu chưa có rồi mở khung chat, gõ /bye để thoát
ollama pull qwen3.5    # chỉ tải model
ollama ls              # liệt kê model đã tải
ollama ps              # model đang nạp, chạy bằng GPU hay CPU
ollama stop gemma4     # dừng model đang nạp
ollama rm gemma4       # xoá model khỏi máy
ollama serve           # khởi động server thủ công

Máy cần bao nhiêu RAM để chạy Ollama?

Tài liệu hiện không có bảng RAM chung theo cỡ model. Quy tắc cũ “8 GB RAM cho model 7B, 16 GB cho 13B, 32 GB cho 33B” mà nhiều bài vẫn chép đã bị xoá khỏi README từ bản v0.17.0 (21/02/2026). Thay vào đó, Ollama gợi ý theo từng model:

• gemma4:e2b tải khoảng 7,2 GB, nên có 8 GB VRAM trống, hoặc 8 GB bộ nhớ dùng chung (unified memory) trên Mac; thiếu VRAM thì Ollama dùng RAM hệ thống nhưng chậm hơn.
• gpt-oss bản 20b chạy được trên máy có từ 16 GB bộ nhớ; bản 120b vừa một GPU 80 GB.
• Model nhỏ như llama3.2 bản 1b, 3b chỉ tải khoảng 1,3 GB và 2 GB; qwen3.5 bản 9b tải khoảng 6,6–7,6 GB.
• Độ dài ngữ cảnh mặc định đổi theo VRAM: dưới 24 GiB là 4K token, 24–48 GiB là 32K, từ 48 GiB là 256K. Coding agent nên đặt từ 64000 token bằng biến OLLAMA_CONTEXT_LENGTH; ngữ cảnh càng dài càng tốn bộ nhớ, xem bài context window là gì.
• Gõ ollama ps và xem cột PROCESSOR: “100% GPU” nghĩa là model nằm gọn trong VRAM; thấy CPU nghĩa là model bị đẩy sang RAM và sẽ chậm.

Model nào chạy được trên Ollama?

Thư viện ollama.com có khoảng 260 model. Nhóm được tải nhiều gồm llama3.1, deepseek-r1, llama3.2, qwen2.5, qwen3, gemma4, qwen3.5 và gpt-oss; Ollama còn tải được file GGUF từ Hugging Face. Một số model rất lớn chỉ có bản cloud, như deepseek-v4.1-flash và deepseek-v4-pro; glm-5.3, kimi-k3 cũng có trên Ollama Cloud. Đặc điểm từng dòng model có ở bài Qwen là gì, DeepSeek là gì và GLM là gì.

API của Ollama: cổng 11434, chuẩn OpenAI và Anthropic

Ollama chạy một server ở http://localhost:11434, mặc định chỉ nghe địa chỉ 127.0.0.1. API cục bộ không có xác thực, nên đừng mở cổng này ra Internet; muốn cho máy khác trong mạng gọi tới thì đổi bằng biến OLLAMA_HOST và tự lo phần bảo vệ.

Ngoài API gốc ở /api, Ollama có endpoint theo chuẩn OpenAI ở /v1 (Chat Completions, Responses dạng không lưu trạng thái, models, embeddings) và endpoint theo chuẩn Anthropic /v1/messages từ bản v0.14.0. Công cụ viết cho API tương thích OpenAI chỉ cần đổi base URL thành http://localhost:11434/v1; SDK đòi API key thì điền chữ bất kỳ, Ollama bỏ qua.

Giới hạn cần biết: endpoint chuẩn OpenAI chỉ nhận ảnh dạng base64, không nhận tool_choice; endpoint chuẩn Anthropic không có count_tokens, prompt caching và PDF.

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "gemma4:e2b", "messages": [{"role": "user", "content": "Chào bạn, giới thiệu ngắn về Hà Nội"}]}'

Ollama Cloud: chạy model lớn trên máy chủ

Ollama Cloud chạy model trên máy chủ của Ollama, gọi qua https://ollama.com/api hoặc https://ollama.com/v1 bằng API key tạo trong phần cài đặt tài khoản. Trong ứng dụng và dòng lệnh, model cloud mang đuôi :cloud, ví dụ gemma4:cloud.

Từ ngày 31/08/2026, Ollama Cloud tính tiền theo token. Có các gói Free (một ít credit cho nhóm model khởi đầu), Pro, Max, Team và Enterprise; gói trả phí kèm credit hằng tháng không cộng dồn sang tháng sau. Số request chạy đồng thời là 1 với Free, 3 với Pro, 10 với Max và Team. Ollama cam kết không ghi log và không dùng prompt để huấn luyện; máy chủ chủ yếu đặt ở Mỹ. Muốn chỉ chạy cục bộ, đặt biến OLLAMA_NO_CLOUD=1.

Dùng Ollama với Claude Code và Codex

Từ bản v0.15.0, lệnh ollama launch claude tự cấu hình Claude Code chạy bằng model của Ollama (và đề nghị cài Claude Code nếu máy chưa có); ollama launch codex làm tương tự với Codex CLI, ngoài ra còn OpenCode, OpenClaw và vài agent khác. Cấu hình tay cho Claude Code dùng ba biến môi trường như khối lệnh dưới.

Lưu ý: Anthropic không hỗ trợ chính thức việc chạy Claude Code bằng model không phải Claude, nên một số tính năng có thể không chạy đủ; tài liệu của Ollama ghi tìm kiếm web và vài tuỳ chọn công cụ nâng cao chưa được hỗ trợ hết. Với repo lớn, đặt ngữ cảnh từ 64K token trở lên.

export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_API_KEY=""
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model qwen3.5

LM Studio khác Ollama ở đâu?

LM Studio là ứng dụng desktop cùng mục đích chạy model cục bộ. Khác biệt chính về tính năng:

• Mã nguồn: Ollama mở mã theo MIT; ứng dụng LM Studio là mã nguồn đóng, miễn phí cho cá nhân và dùng nội bộ doanh nghiệp từ 08/07/2025, chỉ công cụ dòng lệnh lms và SDK của nó mở mã.
• Cổng mặc định: Ollama dùng 11434, LM Studio dùng 1234 (http://localhost:1234/v1).
• Nguồn model: Ollama tải từ thư viện ollama.com; LM Studio tìm và tải thẳng từ Hugging Face, có cả định dạng GGUF và MLX.
• API: cả hai có endpoint chuẩn OpenAI và Anthropic; LM Studio cho bật xác thực bằng token, API cục bộ của Ollama thì không có xác thực.
• Máy chạy: LM Studio trên Mac cần chip Apple và macOS 14 trở lên, không hỗ trợ Mac Intel; chạy không giao diện bằng bản llmster. Ollama chạy được trên Mac Intel (chỉ CPU) và có image Docker chính thức.

Open WebUI: giao diện chat cho Ollama và API bên ngoài

Open WebUI là giao diện chat tự cài trên máy hoặc máy chủ, giống một ChatGPT riêng, nối được với Ollama và với mọi API tương thích OpenAI. Cài bằng Docker như khối lệnh dưới (thay your-secret-key bằng một chuỗi ngẫu nhiên cố định, ví dụ kết quả của openssl rand -hex 32), rồi mở http://localhost:3000. Open WebUI tự tìm Ollama đang chạy trên cùng máy.

Nối một API bên ngoài: vào Settings, Admin, Connections, tìm danh sách Manage OpenAI API Connections, bấm Add Connection, điền URL và API Key rồi Save. Với STEYG Code, URL là https://steyg.one/api/v1 và API key lấy trong trang STEYG Code; lưu kết nối chưa có nghĩa là đã kiểm tra, nên bấm Verify Connection để Open WebUI gọi danh sách model. Từ bản v0.6.6 (19/04/2025), Open WebUI dùng giấy phép riêng: bản triển khai cho hơn 50 người dùng phải giữ nguyên thương hiệu Open WebUI.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=your-secret-key \
  --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Những điều bài viết cũ về Ollama hay sai

Nếu đọc hướng dẫn cũ, lưu ý các điểm đã đổi:

• “Ollama chỉ chạy offline”: đã có Ollama Cloud từ 9/2025, tính tiền theo token từ 31/08/2026.
• “Ollama không có giao diện”: có ứng dụng cho macOS và Windows từ 30/07/2025.
• “Muốn chạy Claude Code phải qua proxy chuyển đổi”: Ollama có endpoint chuẩn Anthropic từ v0.14.0 và lệnh ollama launch claude từ v0.15.0.
• “Ngữ cảnh mặc định 2048 token”: nay đổi theo VRAM, từ 4K tới 256K.
• “LM Studio là mã nguồn mở” hay “công ty phải mua giấy phép LM Studio”: ứng dụng là mã nguồn đóng và miễn phí cả khi dùng ở công ty từ 08/07/2025.

Câu hỏi thường gặp