Hacker News · LLM 新帖(试跑7天)·· 9 天前
VindexLLM:基于 Delphi 12 开发的 Windows Vulkan GPU GGUF LLM 推理引擎
VindexLLM – Windows Vulkan GPU GGUF LLM inference engine written in Delphi 12
AI 导读
VindexLLM 是一款在 Windows 平台上使用 Delphi 12 编写的 LLM 推理引擎。该工具支持通过 Vulkan API 调用 GPU 进行 GGUF 格式模型的本地推理。项目源码已发布至 GitHub,为开发者提供了基于特定技术栈的本地大模型运行方案。
来源:Hacker News · LLM 新帖(试跑7天) · news.ycombinator.com