OpenAI在昨日凌晨再亮出大招，其发布了首个文生视频模型Sora。据OpenAI介绍，该人工智能系统可以快速制作长达一分钟的视频，这些视频可以呈现具有多个角色、特定类型的动作、以及主题和背景的准确细节的复杂场景。从公司官网上更新的48个视频demo来看，Sora不仅能准确呈现细节，还能生成具有丰富情感的角色。
在技术和工作原理方面，OpenAI介绍称，因使用Transformer架构，Sora具有极强的扩展性，同时在基于过去对DALL·E和GPT的研究基础构建上还利用了DALL·E 3的重述提示词技术，为视觉模型训练数据生成高描述性的标注。
在OpenAI的Sora之前，谷歌在去年12月21日发布一个全新的视频生成模型VideoPoet，能够执行包括文本到视频、图像到视频、视频风格化等操作。此前一夜爆红的文生视频软件Pika更掀起了AI视频应用热潮。对于此次Sora的出现，360集团创始人、董事长周鸿祎2月16日在微博发文表示，这意味着AGI实现将从10年缩短到1年。
业内专家分析指出，具备文生视频功能的视频类生成式AI在领域，能够有效降低创作者的创作门槛。国海证券陈梦竹在11月8日研报中提到，据量子位发布的《AIGC/AI生成内容产业展望报告》，视频生成将成为近期跨模态生成领域的中高潜力场景，其背后逻辑是不同技术带来的主流内容形式的变化。英伟达高级科学家Jim Fan评论认为，2022年是影像之年，2023是声波之年，而2024是视频之年。
随海外OpenAI、谷歌等纷纷推出各自的文生视频模型，东方证券蒯剑等人在12月18日研报中提到，国内领先厂商已入局，其中，海康威视、大华股份、萤石网络等视频分析行业领先厂商纷纷投入到多模态大模型研究和行业应用落地进程。具体来看，海康威视现已处于多模态大模型的研发阶段，包括视觉、语音、文本等多模态信号的融合训练及处理。大华股份于23年10月发布“星汉大模型”，该模型融合点云、语音、图像等输入，构建了多模态融合的行业视觉大模型。值得一提的是，信雅达凭借“天才女儿”设立Pika的消息刺激曾在去年11月30日至12月7日录得6连板，公司表示，其已围绕图像识别、 AI 定制化建模等能力开展深入研究。
此外，主营视频创意、绘图创意类软件产品的万兴科技近日在互动平台表示，公司旗下视频创意产品万兴喵影/Filmora可用于各类视频的创作和剪辑，“天幕”大模型是以视频创意类AI技术为核心的多媒体大模型，涵盖音频、图像、视频等多模态能力。昆仑万维旗下Star Group和Opera都具备做短视频的土壤，其中Opera在海外已经推出了短视频功能。此外，昆仑万维天工大模型在腾讯优图实验室联合厦门大学开展的多模态大语言模型测评中，综合得分排名第一。专业智能视频解决方案与视频云服务提供商当虹科技拥有自研的AIGC工具集，于去年上半年发布以静态照片生成三维体积视频的方案。
据财联社不完全统计，包括万兴科技、博汇科技、易点天下、数码视讯、汉王科技、当虹科技、东方国信、神思电子、因赛集团、拓尔思、国脉文化、佳都科技在内的超10家A股上市公司近三个月以来在互动平台披露视频生成模型领域的业务情况。其中，当虹科技1月5日互动平台表示，公司拥有自研的AIGC工具集，发布了以静态照片生成三维体积视频的方案，并且通过点云模型转换及压缩算法实现高达800倍的视觉无损压缩，实现不同模态之间相互切换。因赛集团旗下InsightGPT目前可生成20秒以上的视频，能够结合图像、视频大模型，融合抠图等多种算法，再结合音频模型，整体渲染后最终合成完整视频。
用户评论