真实世界的视频是持续、冗长、信息稀疏且具有长期因果关系的，而现有 VLM 的基本处理范式更适合静态图像或短视频。主要矛盾在于，模型需要在数十分钟、数小时乃至持续不断的视频流中，保留少量但关键的信息，并在之后正确地检索、组合和推理，但它不可能无损地、等权重地处理所有帧。

最直接的方法是扩展长上下文，其核心问题在于，能否直接把更多帧直接送入模型。基本的办法是，把 LLM 长上下文能力迁移到视觉，或通过长序列并行与位置编码扩展进行端到端建模，例如LongVA、LongVILA、Gemini 1.5、Qwen2.5-VL。这类方法是最直接明了的方法，但是弱点在于context的利用率依旧不高，且扩展位置编码的方法会有明显的位置偏置。

第二种常见的方法是压缩和稀疏化。既然扩展上下文的利用率不高，那就通过压缩和稀疏化的方法提高利用率。其核心在于，如何在极低 token 预算下保住关键时空信息。主要的方法包括，关键帧/关键 clip 选择、层级压缩、KV 稀疏化、query-aware token 保留。例如，LVChat、SlowFast-LLaVA、HICom、Video-XL、VideoChat-Flash、Video-XL-Pro、Video-XL-2等方法。这类方法方便实现，适合工程落地，但是存在压缩中丢失细节，压缩损失不可逆等问题，对于 query-aware 类型的方法，还存在问题依赖强的问题。因此，可逆压缩和证据重建是这类方法的瓶颈。

除了更改模型和压缩token本身，针对越来越长的视频，有些工作开始研究外部的扩展方法。首先是为流式视频建立外部记忆。在线处理视频流，把过去信息写入记忆库，再根据问题检索/更新，来解决如何跨分钟/小时保住历史事件状态。这类方法包括MovieChat、MA-LMM、VideoStreaming、VideoLLM-online、VideoChat-Online、Hour-LLaVA、WorldMM等。这类方法更贴近真实流式场景，也自然支持长时输入，同时也带来了写入/检索策略难设计的问题。在压缩外部记忆的时候也存在记忆摘要失真的问题。这类方法目前的主要挑战在于，视觉证据与文本摘要如何联合记忆，多尺度记忆如何协同。

除了如何进行长序列的记忆，检索和推理也是核心的问题。有一部分方法利用RAG和Agent，试图解决如何从长视频里找对证据再推理的问题，把长视频转成文档、图、字幕/OCR/对象索引，先检索再回答，或让 agent 分步调用工具，代表方法有DrVideo、Video-RAG、VideoAgent、GroundVQA、ViG-RAG。这类方法训练成本低，可解释性较强，容易加工具，但是也存在pipeline脆弱、检索鲁棒性弱的问题，难以解决检索目标到底应是帧、clip、场景、对象还是事件图。

为了进一步提高视频理解系统的准确性和可靠性，时间敏感和证据定位成为了重要的研究方向，需要让模型不仅回答，还能指出“何时/何地/哪段证据”。这类方法包括时间戳建模、定位头、grounding 约束、结构化证据输出等思路，产出了TimeChat、GroundVQA等方法。这类方法更接近真实可验证系统，但是标注昂贵，评测复杂，开放式答案与精确 grounding 的联合训练仍不成熟。

总的来说，目前主流方法已经从“clip-level video-LLM”转向“system-level long-video pipeline”，采样、压缩、记忆、检索、训练数据和评测协议比优化视觉编码器和projector更重要，系统并行和流式编码也逐渐成为核心贡献。此外，“memory”正在从隐式 token cache 走向显式、结构化和多模态化。早期的MovieChat、MA-LMM 和 PMB 仍主要是单一记忆库，到了Hour-LLaVA 开始把问题相关与时空信息一起从缓存的全视频上下文中自适应整合，最近的WorldMM 则进一步区分 episodic、semantic、visual 三类记忆，并用自适应 agent 在多尺度上迭代检索。意味着设计 memory 的结构与控制策略本身已经成为最受关注的问题。