跟随视角,追踪一个工具。
在第一人称视角变化中,显示所选工具的区域与轨迹。
点击一个物体,追问它的位置与经历。
让视频、语音和可回放的证据,一起构成记忆。
用交互选择确定目标指代
保留会话状态与可修订记忆
视频和逐句语音证据可回放
“那个工具最后在哪里?”“刚才那段谈话说了什么?”EgoLens 将第一人称视频中的物体、事件和谈话,连接成可以追问的记忆。
全局概述负责寻找线索,局部画面负责核对事实。用户的点击、问题与目标状态共同决定接下来该看哪里;回答中的来源则让结论可以被检查。
了解它如何工作 ↗从实际运行记录回看多轮对话、反馈召回和语音来源。点击轮次与证据按钮即可探索,当前展示为静态历史回放。
在第一人称视角变化中,显示所选工具的区域与轨迹。
从选中的餐具出发,回看同一片段里的移动。
用不同颜色和编号,分别展示两个选中目标。
视频来源:EgoLife 官方数据集;EgoLens 添加追踪可视化。分别节选 DAY4_A1_JAKE_12253000 的0–12秒、DAY2_A1_JAKE_17163000 的2–12秒、DAY3_A1_JAKE_12000000 的0–13秒。数据集卡声明 MIT;代码与第三方依赖各遵循其许可。
问答回放来自已完成的真实运行记录;视频为原始证据的网页节选。多轮对话使用DAY5床品与DAY6手机片段,反馈召回使用DAY2电脑接触前0–8秒,语音来源为DAY4连续录像649.834–659.310秒。展示中的历史回答或摘录均不产生新的模型推理。
概述是导航。画面和语音,才是回答的依据。
SAM2 接收点选和框选,产生带版本的目标轨迹;分割有误时可以补点纠正。
Qwen2.5-VL理解视频,混合检索寻找相关片段,证据不足时触发有界补看。
结合时间对齐的语音与视觉证据组织答案,支持多轮追问和来源回放。
发布运行主线与环境说明。模型权重、GPU、私有视频及 API 凭据由使用者自行配置。
从目标轨迹出发,了解可以回到来源的视频记忆。