2026年8月27日

|

Omni 现可提供工作室级视频制作能力,包括场景扩展、首尾帧插值、清晰的4K超分辨率、更快的原型制作等。


Anish Nangia

产品经理,Google DeepMind

Alisa Fortin

产品经理,Google DeepMind


图片1:文字“Gemini Omni 1.1 Flash 可通过 API 获取”,周围环绕着人物和松鼠的各种图像

音频3

收听文章

[[duration]]分钟

此内容由 Google AI 生成。生成式 AI 具有实验性。

今天,我们推出 Gemini Omni 1.1 Flash,这是一套全新的创意控制和生成式视频功能,旨在支持开发者。Gemini Omni 将现实世界推理引入生成式创作,而今天的更新使 Omni 1.1 可通过 Google AI Studio 中的 Gemini API 实现专业级生产就绪。

无论您是在构建生成式视频工作流、创意工具还是媒体编辑软件,这些更新都能让生成式视频更具可控性、迭代更快,并为实际部署打磨至精良。以下是新功能一览:

扩展场景,讲述更长的故事

场景扩展功能允许您获取现有视频,并从中断处无缝继续生成镜头。

借助 Omni 1.1,模型现在可以分析最多10秒的先前上下文——相比之前仅参考最后一秒的模型,这是一次巨大飞跃。其结果是视觉一致性和叙事连贯性的提升,让您能够构建更长的故事或分支到新的创意方向。您可以按10秒增量扩展视频,累计总长度可达40秒。

以下是通过 Gemini API 扩展场景的方法:

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-omni-1.1-flash",
    previous_interaction_id=previous_video_interaction.id,
    input=[
        {"type": "text", "text": "Continue the scene."}
    ],
    response_format={
        "resolution": "360p",
    },
)

指定首帧和末帧

通过指定镜头的起始帧和结束帧,实现平滑过渡和摄像机运动。Omni 1.1 可在两个关键帧之间生成连续视频,非常适合复杂的摄像机环绕、变焦过渡或无缝循环片段。

提示1:一个穿着米色西装的时尚鼓手在宏伟大厅中演奏红色架子鼓的低角度特写镜头,随着摄像机快速摇向侧面,揭示一位年长的萨克斯手与一位身着白色服装、在柔和紫色舞台灯光下旋转的芭蕾舞者一同演奏。一个连续镜头,无跳切。

提示2:摄像机放大到电视屏幕,我们看到与开头相同的女人和相同的场景。无缝视频。一个连续镜头,无跳切。

以360p分辨率更高效地草拟视频

与 Omni 1.1 标准的720p分辨率相比,生成360p分辨率的轻量预览速度最高可提升60%*,成本仅为三分之一。这对于快速原型制作、故事板迭代以及开发者平台中的快速渲染非常有帮助。

*基于360p与720p分辨率的系统吞吐量,生成速度最高提升60%

提示:虹彩海洋硅藻的微观视图,展示复杂、玻璃般的硅质外壳,具有惊人的自然对称性。颜色从深火山琥珀色和暖铜色到鲜艳的蓝绿色和紫色,模仿地球和海洋的丰富色调。微小、精致的结构在干净的深色背景上柔和发光。高保真科学成像、清晰细节、有机纹理、微距摄影。在整个视频中保持显微镜镜头效果。

超分辨率至4K

使用 Omni 1.1 生成精良的高分辨率1080p或4K输出,可直接用于专业制作。

提示1:鱼在游动,跟踪镜头

提示2:一只小花栗鼠从屏幕左侧冲出树林,好奇地嗅着空气,然后从右侧冲出画面

提示3:电影级微距特写,展示精致树枝上鲜艳的金橙色日本枫叶,在柔和、有节奏的秋风中轻轻沙沙作响并摇曳。阳光透过半透明的叶片,营造出温暖、发光的效果。浅景深、梦幻散景背景、超精细纹理、照片级真实感、4K。

在多模态输入中添加视频参考

在构思场景时,可参考最多三秒的视频,从而基于视频参考保持视觉上下文和角色一致性。

提示:使用上传的三段舞者视频,并将其替换为提供的角色。让他们从参考视频中表演各自的舞蹈,全部一起在提供图像中的大型开放空间中表演。狗角色 dog.png 应表演 dance3.mp4 中的古典舞。章鱼角色 octo.png 应表演 dance1.mp4 中的嘻哈舞,熊角色 bear.png 应表演 dance2.mp4 中的霹雳舞。最终结果应为一个连续镜头,无场景切换。

激发您可构建内容的灵感

以下是一些想法,展示开发者如何在自定义工具和创意工作流中应用这些新功能。

了解客户如何将 Omni Flash 投入生产

我们的客户已通过 Agent Platform API 使用 Gemini Omni Flash 推动实际生产。探索他们创作的视频,并了解他们如何在下方使用该模型。

立即使用 Gemini Omni 1.1 Flash 构建

Gemini Omni 1.1 Flash 的定价表。

图片2:包含 Gemini Omni 1.1 Flash 模型定价数字的表格。

Omni 1.1 正在 Google 开发者生态系统中逐步推出:

  • 在 Google AI Studio 中开始构建: 直接在 Google AI Studio 中试用 Omni 1.1。
  • 在 Gemini Enterprise Agent Platform 上构建: 企业可直接通过 Agent Platform API 使用 Omni 1.1 进行构建。
  • 探索开发者文档: 查看 官方文档cookbook提示指南,了解如何将场景扩展、视频参考和超分辨率集成到您的应用程序中。

Omni 1.1 今日起也已面向全球所有 Google AI Plus、Pro 及 Ultra 订阅用户在 Google Flow 中提供。场景扩展功能现已面向全球所有 Google AI Plus、Pro 及 Ultra 订阅用户在 Gemini 应用 中开放。

在您的收件箱中获取来自 Google 的最新新闻

订阅我们的新闻通讯,获取产品更新、活动信息、特别优惠等更多内容。

您的信息将按照 Google 隐私政策 使用。您可以随时选择退出。

本文内容采集自官方网站,排版和翻译可能与原页面存在差异。

阅读官方全文