字节连发两款AI视频工具，一句话完成换脸、编辑，网友直呼Runway不香了！

文｜尚恩

编辑｜邓咏仪

字节正在跑步AI化，产品侧刚刚宣布对外测试AI对话产品豆包，又接连一口气在Github上发布两个AI视频项目。一个主多模态动画生成，另一个则专注文本导向的视频编辑。

目前在Github上，两个项目加起来已经拿到1000+星。

来源：公开网络

不仅如此，还引来大批网友围观，有人就直接表示：“一直想在TikTok火，有了AI这下可好办了”！

来源：Dave Villalva推特

目前，字节的这俩项目虽已上传GitHub和arxiv，但还没有公开代码，所以想上手玩还得稍等等了。

对此就有不少网友已经等不及，在线求代码中…

来源：Don Jose Valle推特

话不多说，来具体看看这俩AI视频生成项目的细节。

MagicAvatar由字节跳动开发，是一款主打多模态输入生成的多模态框架，可以将文本、视频和音频等不同输入方式转化为动作信号，从而生成和动画化一个虚拟人物。

具体来说，通过简单的文本提示就能创建虚拟人物，也可以根据源视频生成跟随给定动作生产，还能对特定主题的虚拟人物进行动画化。

比如，输入“一个在火山里踢踏舞的宇航员”就能生成一个相应的虚拟形象。

来源：MagicAvatar

或者直接提供一个源视频，然后AI就会创建一个跟随给定动作的形象。

来源：MagicAvatar

看过生成效果，不少网友惊呼，Runway的Gen-1、Gen-2不香了！

来源：推特

根据字节团队的解释，相比以往直接从多模态输入生成视频，MagicAvatar独特之处主要是将视频生成明确分解为两个阶段。

第一阶段，主要将多模态输入（文本、视频、语音等）转换为表示运动的信号，如人体姿态、深度信息、DensePose等。第二阶段，则是将第一阶段生成的运动信号与外观描述一起输入到模型，然后生成视频。

这里提一嘴，DensePose是一种计算机视觉技术，用于将人体在图像上的姿态信息与一个3D人体模型进行关联。

来源：MagicAvatar

比如，我们想生成一个“女子交叉手臂在舞池跳舞”的视频，直接把提示词投喂给AI，AI会先识别生成交叉手臂的动作，然后再生成目标形象。

这样做的好处优势在于降低了学习难度，不同模态之间不仅可以使用独立的数据进行训练，且不需要所有模态都同时存在的数据集。

另外，MagicAvatar还支持用户上传目标人物的图片，来为特定人物生成动画，实现个性化需求。

来源：MagicAvatar

未来研究团队表示，还将推出音频引导形象生成的功能，到时候用户只用通过音频输入就能创建形象，比如说话、唱歌。

MagicEdit是一个文生视频的编辑工具。用户只需要自然语言提示，就能轻松地改变视频的风格、场景甚至替换视频里的对象或添加元素，同时保持原视频的动作和外观一致，还可以通过视频混合功能创造出新颖的概念。

比如，把左边这只小兔子变成一个像兔子的老虎，直接提示Tiger就搞定。

OS：（虽然看着有点怪，不过意思是到了…）

来源：MagicEdit

具体来说，MagicEdit可以清晰地分离视频对象的外观和动作并进行学习，实现了高质量和时间连贯的视频编辑。它能够独立地处理和优化这两个方面，然后再将它们合成到一个新的完整的视频中。这样做的好处是，编辑过程更加灵活和高效，同时也能保证视频的质量和时间连贯性。

来源：MagicEdit

比如，你正在编辑一个视频，其中有一个人在跳舞，外观就是这个人的衣服、发型、脸型等，而动作就是他跳舞的动作。

来源：MagicEdit

简单来说，MagicEdit就像是一个聪明的导演，它能分别调整这个人的衣服和跳舞动作，然后再把这两者完美地结合在一起，按照不同个性化需求生成新的视频。

新视频可能背景、场景和风格不一样了，但是保持了原视频的人物外观和动作，同时整个视频看起来既漂亮又流畅。

来源：公开网络

目前，MagicEdit支持多种编辑应用，包括视频风格化、局部编辑、视频混合（Video-MagicMix等功能。视频风格化就是能够将源视频转换成具有特定风格，创建具有不同主题和背景的新场景，比如现实、卡通等。

来源：MagicEdit

局部编辑则允许用户对视频进行局部修改，同时保持其他区域不变。视频混合（Video-MagicMix）就类似于MagicMix，可以在视频领域内混合两个不同的概念，以创建一个新的概念。

除此以外，MagicEdit还支持视频扩展功能，可以在不重新训练的情况下进行视频扩展任务。

来源：MagicEdit

按照以前的逻辑，视频扩展通常需要针对此任务特别训练模型或微调，灵活性比较差。

因此研究团队，通过在去噪过程中灵活注入反向潜码（inverse latent）和随机噪声，这样可以保证已知区域不变，未知区域生成新的内容，然后无需重新训练就可以直接生成符合提示的新内容，极大提高了视频扩展比例的鲁棒性。

根据论文显示，这两个AI视频项目都是由字节的科学家共同发表，其中五位作者中有四人来自中国，且都曾在字节实验室做过研究或实习。

通讯作者严汉书（Hanshu YAN）是字节跳动新加坡的研究科学家，致力于视频/图像生成模型。

他本科毕业于北京航空航天大学电气工程专业，硕士和PhD都在新加坡国立大学，曾在新加坡海洋人工智能实验室（Sea AI Lab）实习。

来源：Hanshu YAN

Jun Hao Liew是字节跳动新加坡的计算机视觉科学家，他本科毕业于英国伦敦大学学院（UCL）的电子电气工程专业，硕士和PhD则是在新加坡国立大学就读，曾在Adobe实习。据Google Scholar显示，目前其论文引用量已经有1400多。

来源：GoogleScholar

其他几位作者，也都是在新加坡读博，并在字节跳动新加坡参与科研。

2023年的字节跳动在AI领域的布局，确实可以用加速跑来形容。

从近期大模型云雀获批，到刚刚对外测试AI对话产品的豆包，以及6月字节跳动旗下火山引擎发布大模型服务平台“火山方舟”，面向企业提供模型精调、评测、推理等全方位的平台服务。

来源：火山引擎

而作为一家以短视频起家的互联网公司，除了深耕TikTok、抖音等平台外，视频一直是字节的强关注领域。

比如今年4月字节就在美国上架了一款以照片、视频为主的应用程序Lemon8，类似于海外的Instagram和Pinterest的混合体。除此以外，字节跳动旗下的另一款视频编辑工具“CapCut”，在苹果应用商店中被列为美国最受欢迎的应用软件之一。

虽然短视频业务市场占有率不低，但要论拥抱AI的速度，字节确实说不上快。对比之下，前段时间美图发布2023上半年财报，得益于AI视频、绘图等AIGC功能的推出，总收入12.61亿人民币，同比增长了29.8%。

The Information此前报道表示，字节跳动2022年总收入达到了850亿美元，同比增长38%，主要收入来自TikTok、视频游戏和企业软件等，AI还未能给字节带来任何巨大收益。

长按添加「智涌」小助手入群， 备注：公司+职务

完美解码播放器 v2023.07.31 一款专业的音视频解码播放工具

完美解码播放器是完美者为高清影视爱好者精心整合的老牌全能影音解码包,集成了多媒体播放器PotPlayer,MPC-BE,分离器解码器套件L Filters,高画质渲染器MADVR,能够软硬编解码所有音视频,支持中英语言。

完美解码播放器是一款专业的音视频解码播放工具，具有以下功能：

1. 多种音视频格式支持：支持解码播放多种音视频格式，包括常见的MP3、MP4、I、MKV等格式，能够满足用户的不同需求。

2. 高清画质播放：支持高清视频播放，能够呈现出清晰、流畅的画面，让用户享受更好的观影体验。

3. 多种音效模式：内置多种音效效果模式，用户可以根据个人喜好选择不同的音效模式，既可以增加音乐的层次感，又可以提升影片的氛围。

4. 强大的解码能力：采用先进的解码技术，能够快速解码各种音视频文件，保证播放的流畅性和稳定性。

5. 快速定位功能：支持快速定位到音频或视频文件的指定位置，方便用户根据需要快速跳转和回放。

6. 在线资源播放：支持在线资源播放，用户可以通过网络连接播放各种在线音视频资源，无需下载到本地即可观看。

7. 良好的用户体验：界面简洁清晰，操作便捷友好，让用户可以轻松上手并享受到更好的使用体验。

总之，完美解码播放器提供了高效的解码播放功能，为用户提供了优质的音视频观赏体验，是一款非常实用的多媒体播放工具。

剪映电脑版怎么分离音频？详细视频音频分离方法看这里

　　剪映是一款简洁而又好用的视频剪辑软件，而目前剪映有电脑版的软件可以供大家使用了。而在使用剪映来剪辑视频时，如果遇到了拥有非常好听的背景音乐的视频文件，那么此时我们应该怎么将视频中的音频分离出来呢？

　　其实，分离音频的方法很简单的，剪映可以非常轻松的帮我们实现它。那么如何使用剪映来分离音频呢？今天小编就来为大家介绍一下具体的视频中音频的分离方法吧，希望能够对大家有所帮助。

　　第一步，在电脑的桌面上找到剪映软件，然后双击打开，接着在弹出的窗口中，点击【开始创作】按钮。

　　第二步，然后就进入到软件的主界面当中了，在此我们找到【导入素材】按钮，然后将需要分离音频的视频文件添加到软件当中来。

　　第三步，视频文件添加好以后，我们将视频文件拖拽到软件的视频轨道上，或者是将鼠标的光标放到视频素材上，然后视频的右下角会出现一个【+】加号，点击它，也可以将视频添加到软件的轨道上。

　　第四步，然后我们软件的视频轨道上，在视频文件上按下鼠标右键，接着在弹出的选项中，我们选择【分离音频】选项。

　　第五步，接着软件就会帮我们将视频中的音频分离出来了，同时视频轨道上的视频内容的底部也没有音频的标志了，音频被单独放到一个轨道上了。

　　第六步，如果我们在进行了视频和音频的分离工作后，又突然后悔了，此时我们在视频的轨道上，继续按下鼠标右键，然后我们可以看到有【还原音频】选项，点击它。

　　第七步，然后我们就可以将分离出去的音频重新找回来了。

　　好了，这就是为大家总结的关于使用剪映电脑版来分离音频的方法了，如果你平时也有这样的视频音频的分离工作的话，那么不妨跟着本文来使用剪映软件来进行操作一下，这样日后再有这样的需求时，我们可以非常轻松的使用剪映来完成它。