跳到正文
返回科技动态
原文
Hacker News · LLM 新帖(试跑7天)·· 9 天前

VindexLLM:基于 Delphi 12 开发的 Windows Vulkan GPU GGUF LLM 推理引擎

VindexLLM – Windows Vulkan GPU GGUF LLM inference engine written in Delphi 12

AI 导读

VindexLLM 是一款在 Windows 平台上使用 Delphi 12 编写的 LLM 推理引擎。该工具支持通过 Vulkan API 调用 GPU 进行 GGUF 格式模型的本地推理。项目源码已发布至 GitHub,为开发者提供了基于特定技术栈的本地大模型运行方案。

来源:Hacker News · LLM 新帖(试跑7天) · news.ycombinator.com

浙ICP备2026082753号-2