egolens.拾迹GitHub ↗
EGOCENTRIC VIDEO MEMORY

让每一次看见,
都能被找回。

点击一个物体,追问它的位置与经历。
让视频、语音和可回放的证据,一起构成记忆。

预录模块示例 · 可回看论文完成后将在此提供入口
A MEMORY, IN MOTION01 / TOOL
预录模块示例
✳
FROM AN OBJECT TO A MEMORY选中它,沿着证据找回故事。
↗
可见区域 ≠ 已确认的物理身份VISUAL + AUDIO
01点到哪个,就围绕哪个

用交互选择确定目标指代

02问题可以连续追问

保留会话状态与可修订记忆

03答案能够回到现场

视频和逐句语音证据可回放

A QUESTION WORTH REMEMBERING

我们看过很多画面,
却很难再次找到那个瞬间。

“那个工具最后在哪里?”“刚才那段谈话说了什么?”EgoLens 将第一人称视频中的物体、事件和谈话,连接成可以追问的记忆。

全局概述负责寻找线索,局部画面负责核对事实。用户的点击、问题与目标状态共同决定接下来该看哪里;回答中的来源则让结论可以被检查。

了解它如何工作 ↗
ASK. RECALL. RETURN TO THE SOURCE.

不止追踪,还能追问与回看。

RECORDED EXPERIENCE REPLAY

从实际运行记录回看多轮对话、反馈召回和语音来源。点击轮次与证据按钮即可探索,当前展示为静态历史回放。

正在载入历史回放…

RECORDED · 点击回看
来源片段

真实历史记录
用户问题

历史回答

更多:点击追踪模块片段3 CLIPS +
01 / VIEWPOINT
目标追踪12 秒 · 静音

跟随视角,追踪一个工具。

在第一人称视角变化中,显示所选工具的区域与轨迹。

02 / MOVEMENT
局部移动10 秒 · 静音

从一件餐具,关注一次移动。

从选中的餐具出发,回看同一片段里的移动。

03 / TWO OBJECTS
独立目标13 秒 · 静音

相似的外观,独立的编号。

用不同颜色和编号,分别展示两个选中目标。

素材来源与演示边界 +

视频来源:EgoLife 官方数据集;EgoLens 添加追踪可视化。分别节选 DAY4_A1_JAKE_12253000 的0–12秒、DAY2_A1_JAKE_17163000 的2–12秒、DAY3_A1_JAKE_12000000 的0–13秒。数据集卡声明 MIT;代码与第三方依赖各遵循其许可。

问答回放来自已完成的真实运行记录;视频为原始证据的网页节选。多轮对话使用DAY5床品与DAY6手机片段,反馈召回使用DAY2电脑接触前0–8秒,语音来源为DAY4连续录像649.834–659.310秒。展示中的历史回答或摘录均不产生新的模型推理。

LOOK GLOBALLY. VERIFY LOCALLY.

从一个问题,到一段证据。

概述是导航。画面和语音,才是回答的依据。

01 / SELECT
⌖

明确“它”是谁

SAM2 接收点选和框选,产生带版本的目标轨迹;分割有误时可以补点纠正。

02 / RETRIEVE & VERIFY
⌕

全局找,局部看

Qwen2.5-VL理解视频,混合检索寻找相关片段,证据不足时触发有界补看。

03 / ANSWER & REPLAY
↗

回答,并保留来源

结合时间对齐的语音与视觉证据组织答案,支持多轮追问和来源回放。

BUILD ON IT

项目说明、代码与论文。

发布运行主线与环境说明。模型权重、GPU、私有视频及 API 凭据由使用者自行配置。

COME BACK TO THE EVIDENCE

把你的问题,
交还给视频。

从目标轨迹出发,了解可以回到来源的视频记忆。

观看预录片段 ↗
EGOLENS