OpenAI 发布了名为 Sora 的视频生成模型，它不仅能够生成令人惊叹的影片，还具备模拟物理世界的能力，这使其成为游戏和其他应用领域的强大工具。
Sora 的强大功能：
- 生成任意分辨率和长宽比的视频，最高可达 1080p
- 执行各种图像和视频编辑任务
- 模拟数字世界，包括物理特性和动态
Sora 的工作原理：
Sora 并非单纯地生成图像或视频，而是会识别环境中每个对象的物理特性，并基于这些特性进行渲染。这使得它能够模拟现实世界的物理现象，例如物体运动和相互作用。
1、将视觉数据转化为补丁
大型语言模型（LLM）通过学习互联网规模的数据，获得了处理各种任务的通用能力。LLM 的成功部分归功于其使用“令牌”作为基本表示形式，这种形式能够将文本、代码、数学和自然语言等不同模式统一起来。
受此启发，Open AI提出了一种新的视觉生成模型：Sora。Sora 使用视觉补丁作为基本表示形式，类似于 LLM 使用令牌。研究表明，补丁是一种有效且可扩展的表示形式，适用于训练处理不同类型视频和图像的生成模型。
2、用于视频生成的缩放变压器
Sora视频生成模型 Sora，该模型基于扩散模型和Transformer 架构。 Sora 能够从输入噪声补丁和文本提示等调节信息中，预测原始的“干净”补丁，并生成高质量的视频。
模型优势包括：
- 基于扩散模型，能够从简单到复杂逐步生成视频，提高生成质量和稳定性。
- 基于Transformer 架构，具有强大的扩展性，能够处理高分辨率和复杂度的视频。
- 支持文本提示，可以根据用户输入的文本生成相应的视频内容。
3、语言理解
训练文本到视频生成系统需要大量带有相应文本字幕的视频。Sora应用了 DALL·E 3 中引入的重新字幕技术到视频。首先训练一个高度描述性的字幕生成器模型，然后使用它为训练集中的所有视频生成文本字幕。发现，对高度描述性视频字幕进行训练可以提高文本保真度以及视频的整体质量。
与 DALL·E 3 类似，Sora利用 GPT 将简短的用户提示转换为较长的详细字幕，然后发送到视频模型。这使得 Sora 能够生成准确遵循用户提示的高质量视频。
视频来源：Open AI 提示词：冬天风暴期间，一个穿着绿色裙子、戴着太阳帽的女人在印度孟买愉快地散步
Sora 也可以通过其他输入进行提示，例如预先存在的图像或视频。此功能使 Sora 能够执行各种图像和视频编辑任务 – 创建完美的循环视频、动画静态图像、及时向前或向后扩展视频等。
Sora 在游戏领域的应用：
1、人、物、景的3D一致
Sora 可以生成带有动态摄像机运动的视频。随着摄像机的移动和旋转，人和场景元素在三维空间中一致移动。这个功能在游戏中十分重要，特别是3D游戏中，未来可以用这个功能生成实时的3D的游戏场景。
2、远程相干性和物体持久性
Sora 通常（尽管并非总是）能够有效地对短期和长期依赖关系进行建模。例如，我们的模型可以保留人、动物和物体，即使它们被遮挡或离开框架。同样，它可以在单个样本中生成同一角色的多个镜头，并在整个视频中保持其外观。
3、模拟数字世界
Sora 还能够模拟人工过程——一个例子是视频游戏。 Sora 可以同时通过基本策略控制《我的世界》中的玩家，同时以高保真度渲染世界及其动态。这些能力可以通过用提及“我的世界”的标题提示 Sora 来零射击。
Sora 可以用于生成更逼真、更具沉浸感的虚拟世界，并为游戏开发人员提供以下工具：
- 创建更逼真的物理模拟
- 生成更复杂的场景和动画
- 设计更具互动性的游戏体验
Sora 的局限性：
Sora 仍处于早期开发阶段，存在一些局限性，例如：
- 无法准确模拟某些物理现象，例如玻璃破碎
- 模拟结果有时不一致
未来展望：
尽管存在局限性，Sora 的潜力仍然令人兴奋。它有可能彻底改变游戏和其他依赖物理模拟的应用领域。
——————————————————————————————————————————————————————
雨昔资本的是一家新锐投资服务机构，是国内少有的同时具备政府资源、产业资源、机构资源、学校资源为一体的投资服务机构。
股权融资服务：我们为创业公司的融资提供一站式服务包括物色合适的投资者开展交易、协调交易的执行及持续的交易后支持服务。发现及配对平台有效整合交易来源信息，促成创业家，我们的咨询团队与投资者直接互动。
项目并购服务：我们为境内外上市公司以及大型企业，提供一站式服务包括项目并购服务，为需求方寻找合适的被并企业。发现及配对平台有效整合交易来源信息，协调需求方与项目方的交易，促成项目交易。
政府产业服务：雨昔资本通过自身的资源优势，充分发挥产业资源、机构资源，同地方政府相结合，帮助各地政府寻找优质项目，实现产业落地与人才落地，匹配优质的社会化资金，助力地方政府『双招双引』，从而实现地方从项目引入到产业发展到集群式产业带落地。
合作联系方式：
purair@betterrain.cn
jennie@betterrain.cn