跳到主要内容

BentoML

· 阅读需 1 分钟
GoCoding

BentoML is the easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!

BentoML 是一个灵活的AI应用服务框架,致力于简化从模型到生产级API服务的打包和部署过程。

侧重易用性和应用构建,适合打包完整AI云端服务。

https://github.com/bentoml/BentoML

MediaPipe

· 阅读需 1 分钟
GoCoding

MediaPipe: cross-platform, customizable ML solutions for live and streaming media.

侧重端侧模型解决方案与部署。支持视觉、文本、音频和LLM任务,且每种任务都包含一个或多个模型,可部署 Android, iOS, Web 等。

https://github.com/google-ai-edge/mediapipe

VideoPipe

· 阅读需 1 分钟
GoCoding

VideoPipe: 跨平台的视频结构化(视频分析)框架。适用于视频结构化、图片搜索、人脸识别、交通/安防领域的行为分析(如交通事件检测)等场景。

模型推理: 默认采用OpenCV::DNN实现。如果要适配其他硬件平台,比如瑞芯微的RKNN、华为的CANN等,需要参考其厂家提供的推理Demo代码,将其封装成VideoPipe中的一个推理Node即可。

侧重视频分析,包含拉流、推流等,适合快速集成与落地。

https://github.com/sherlockchou86/VideoPipe

KServe

· 阅读需 1 分钟
GoCoding

KServe is a standardized distributed generative and predictive AI inference platform for scalable, multi-framework deployment on Kubernetes.

KServe 是一个专为Kubernetes设计的标准化模型部署平台,支持在云原生环境中大规模、多框架地部署AI模型。

侧重标准化和多框架,是云原生的编排标准。

https://github.com/kserve/kserve

nndeploy

· 阅读需 1 分钟
GoCoding

nndeploy: 一款简单易用和高性能的AI部署框架。基于可视化工作流和多端推理,可让 AI 算法在上述平台和硬件更高效、更高性能的落地。

侧重端侧部署,包含:桌面端(Windows、macOS)、移动端(Android、iOS)、边缘计算设备(NVIDIA Jetson、Ascend310B、RK 等)以及单机服务器(RTX 系列、T4、Ascend310P 等)。

https://github.com/nndeploy/nndeploy

NVIDIA Triton

· 阅读需 1 分钟
GoCoding

NVIDIA Triton Inference Server provides an optimized cloud and edge inferencing solution.

NVIDIA Triton 是一个高性能的推理服务器,通过深度优化硬件利用率和并发处理能力,为云端和边缘提供超低延迟、高吞吐的模型推理服务。

它通过 Ensemble Models(模型集成)功能来实现多模型工作流,这是一种“服务器内部、紧密耦合”的流水线编排。支持 KServe 协议。

侧重极致性能和硬件优化,尤其适合生产级高吞吐、低延迟场景。

https://github.com/triton-inference-server/server

Claude Code

· 阅读需 1 分钟
GoCoding

Claude Code: Work with Claude directly in your codebase. Build, debug, and ship from your terminal, IDE, Slack, or the web. Describe what you need, and Claude handles the rest.

Claude Code 是一个 AI 编程助手,能够直接在你的代码环境中工作,通过终端、IDE 或网页帮你构建、调试和交付项目。

https://claude.com/product/claude-code


Claude Code 使用经验(来自 Boris Cherny, Claude Code 作者):

https://x.com/bcherny/status/2007179832300581177

ima

· 阅读需 1 分钟
GoCoding

ima: 会思考的知识库,开启搜读写新体验(支持混元+DeepSeek双模型)。

https://ima.qq.com/

NotebookLM

· 阅读需 1 分钟
GoCoding

NotebookLM: 以您信赖的信息为基础,搭载最新的 Gemini 模型,是您的研究和思考好帮手。

https://notebooklm.google/

PandaWiki

· 阅读需 1 分钟
GoCoding

PandaWiki 是一款 AI 大模型驱动的开源知识库搭建系统。

旨在帮助你快速构建智能化的产品文档、技术文档、FAQ、博客系统,借助大模型的力量为你提供 AI 创作、AI 问答、AI 搜索等能力。

https://github.com/chaitin/PandaWiki

Dify

· 阅读需 1 分钟
GoCoding

Dify: Production-ready platform for agentic workflow development.

开源的 LLM(大语言模型)应用开发平台,旨在帮助开发者快速构建、部署和管理基于大语言模型的 AI 应用。

https://github.com/langgenius/dify

OpenCode

· 阅读需 1 分钟
GoCoding

OpenCode: The open source AI coding agent.

开源的 AI 编程智能体(AI Coding Agent),它旨在通过终端(TUI)或桌面应用,为开发者提供深度的自动化编程辅助。

https://github.com/anomalyco/opencode

TRAE

· 阅读需 1 分钟
GoCoding

TRAE(/treɪ/)深度融合 AI 能力,是一名能够理解需求、调用工具并独立完成各类开发任务的“AI 开发工程师”,帮助你高效推进每一个项目。