AI 模型服务

LM Studio 是一款桌面应用，帮助用户在本地电脑上下载、运行和管理开源大型语言模型。提供聊天界面、OpenAI 兼容 API 和开发者工具，适合开发者、研究者和注重隐私的用户进行本地 AI 实验与应用开发。

Ollama 是一款开源工具，让用户在本地电脑上轻松运行大型语言模型，支持隐私保护和离线使用，同时提供云端模型加速选项。适合开发者、研究者和注重数据隐私的用户快速部署 AI 应用。

开源高吞吐 LLM 推理与服务引擎，通过 PagedAttention 高效管理显存，支持连续批处理与 OpenAI 兼容 API，适合本地或生产环境部署开源大模型。