Agent 与工作流dsh-plugin

dsh-video-lens

dsh-video-lens 是一个 DeepSeek Harness 插件,为处理本地视频文件的纯文本智能体提供视频理解工具。它包含用于 ffprobe 元数据的 video_probe、结合场景变化感知抽帧与可选 ASR 及 OpenAI 兼容视觉分析的 video_analyze,以及返回有据证据的时间锚定问答工具 video_ask。

Stars
112
Forks
2
Open Issues
0
最近 Push
2026年9月18日
最新版本
v0.3.1
24h Growth
+0
7d Growth
+0

安装

dsh plugin --profile <name> remove dsh-video-lens

概览

dsh-video-lens 是一个 DeepSeek Harness 插件,为处理本地视频文件的纯文本智能体提供视频理解工具。它包含用于 ffprobe 元数据的 video_probe、结合场景变化感知抽帧与可选 ASR 及 OpenAI 兼容视觉分析的 video_analyze,以及返回有据证据的时间锚定问答工具 video_ask。

  • 提供 video_probe,通过 ffprobe 快速获取容器、时长、分辨率、fps、编解码器、音轨和字幕等元数据。
  • video_analyze 使用 ffmpeg scdet 进行场景变化感知的抽帧,并可选加入带时间戳的 ASR 转写,再融合 OpenAI 兼容视觉模型生成证据 JSON。
  • video_ask 支持时间锚定问答:解析明确时间引用或匹配转写关键词,重新抽帧并返回答案、置信度与支撑时间戳。
  • 视觉与 ASR 均通过 OpenAI 兼容的 baseUrl、model 和密钥环境变量配置,不绑定特定提供商。
  • 媒体处理交给 PATH 中的 ffmpeg/ffprobe,智能体本身不做原生解码。
  • ASR 为附加能力:未设置或调用失败时,视觉分析仍会完成,transcript 为 null。
  • 通过 maxFrames、frameMaxWidth、frameQuality 等选项限制载荷大小。
  • 需要 Node.js >= 20;scdet 场景检测需要 ffmpeg >= 6.0,旧版本回退到均匀采样。

相关插件