文|尚恩
编辑|邓咏仪
字节正在跑步AI化,产品侧刚刚宣布对外测试AI对话产品豆包,又接连一口气在Github上发布两个AI视频项目。一个主多模态动画生成,另一个则专注文本导向的视频编辑。
目前在Github上,两个项目加起来已经拿到1000+星。
来源:公开网络
不仅如此,还引来大批网友围观,有人就直接表示:“一直想在TikTok火,有了AI这下可好办了”!
来源:Dave Villalva推特
目前,字节的这俩项目虽已上传GitHub和arxiv,但还没有公开代码,所以想上手玩还得稍等等了。
对此就有不少网友已经等不及,在线求代码中…
来源:Don Jose Valle推特
话不多说,来具体看看这俩AI视频生成项目的细节。
AI捕捉运动信号,一键生成视频MagicAvatar由字节跳动开发,是一款主打多模态输入生成的多模态框架,可以将文本、视频和音频等不同输入方式转化为动作信号,从而生成和动画化一个虚拟人物。
具体来说,通过简单的文本提示就能创建虚拟人物,也可以根据源视频生成跟随给定动作生产,还能对特定主题的虚拟人物进行动画化。
比如,输入“一个在火山里踢踏舞的宇航员”就能生成一个相应的虚拟形象。
来源:MagicAvatar
或者直接提供一个源视频,然后AI就会创建一个跟随给定动作的形象。
来源:MagicAvatar
看过生成效果,不少网友惊呼,Runway的Gen-1、Gen-2不香了!
来源:推特
根据字节团队的解释,相比以往直接从多模态输入生成视频,MagicAvatar独特之处主要是将视频生成明确分解为两个阶段。
第一阶段,主要将多模态输入(文本、视频、语音等)转换为表示运动的信号,如人体姿态、深度信息、DensePose等。第二阶段,则是将第一阶段生成的运动信号与外观描述一起输入到模型,然后生成视频。
这里提一嘴,DensePose是一种计算机视觉技术,用于将人体在图像上的姿态信息与一个3D人体模型进行关联。
来源:MagicAvatar
比如,我们想生成一个“女子交叉手臂在舞池跳舞”的视频,直接把提示词投喂给AI,AI会先识别生成交叉手臂的动作,然后再生成目标形象。
这样做的好处优势在于降低了学习难度,不同模态之间不仅可以使用独立的数据进行训练,且不需要所有模态都同时存在的数据集。
另外,MagicAvatar还支持用户上传目标人物的图片,来为特定人物生成动画,实现个性化需求。
来源:MagicAvatar
未来研究团队表示,还将推出音频引导形象生成的功能,到时候用户只用通过音频输入就能创建形象,比如说话、唱歌。
三阶段训练,AI高保真编辑MagicEdit是一个文生视频的编辑工具。用户只需要自然语言提示,就能轻松地改变视频的风格、场景甚至替换视频里的对象或添加元素,同时保持原视频的动作和外观一致,还可以通过视频混合功能创造出新颖的概念。
比如,把左边这只小兔子变成一个像兔子的老虎,直接提示Tiger就搞定。
OS:(虽然看着有点怪,不过意思是到了…)
来源:MagicEdit
具体来说,MagicEdit可以清晰地分离视频对象的外观和动作并进行学习,实现了高质量和时间连贯的视频编辑。它能够独立地处理和优化这两个方面,然后再将它们合成到一个新的完整的视频中。这样做的好处是,编辑过程更加灵活和高效,同时也能保证视频的质量和时间连贯性。
来源:MagicEdit
比如,你正在编辑一个视频,其中有一个人在跳舞,外观就是这个人的衣服、发型、脸型等,而动作就是他跳舞的动作。
来源:MagicEdit
简单来说,MagicEdit就像是一个聪明的导演,它能分别调整这个人的衣服和跳舞动作,然后再把这两者完美地结合在一起,按照不同个性化需求生成新的视频。
新视频可能背景、场景和风格不一样了,但是保持了原视频的人物外观和动作,同时整个视频看起来既漂亮又流畅。
来源:公开网络
目前,MagicEdit支持多种编辑应用,包括视频风格化、局部编辑、视频混合(Video-MagicMix等功能。视频风格化就是能够将源视频转换成具有特定风格,创建具有不同主题和背景的新场景,比如现实、卡通等。
来源:MagicEdit
局部编辑则允许用户对视频进行局部修改,同时保持其他区域不变。视频混合(Video-MagicMix)就类似于MagicMix,可以在视频领域内混合两个不同的概念,以创建一个新的概念。
除此以外,MagicEdit还支持视频扩展功能,可以在不重新训练的情况下进行视频扩展任务。
来源:MagicEdit
按照以前的逻辑,视频扩展通常需要针对此任务特别训练模型或微调,灵活性比较差。
因此研究团队,通过在去噪过程中灵活注入反向潜码(inverse latent)和随机噪声,这样可以保证已知区域不变,未知区域生成新的内容,然后无需重新训练就可以直接生成符合提示的新内容,极大提高了视频扩展比例的鲁棒性。
字节海外出品根据论文显示,这两个AI视频项目都是由字节的科学家共同发表,其中五位作者中有四人来自中国,且都曾在字节实验室做过研究或实习。
通讯作者严汉书(Hanshu YAN)是字节跳动新加坡的研究科学家,致力于视频/图像生成模型。
他本科毕业于北京航空航天大学电气工程专业,硕士和PhD都在新加坡国立大学,曾在新加坡海洋人工智能实验室(Sea AI Lab)实习。
来源:Hanshu YAN
Jun Hao Liew是字节跳动新加坡的计算机视觉科学家,他本科毕业于英国伦敦大学学院(UCL)的电子电气工程专业,硕士和PhD则是在新加坡国立大学就读,曾在Adobe实习。据Google Scholar显示,目前其论文引用量已经有1400多。
来源:GoogleScholar
其他几位作者,也都是在新加坡读博,并在字节跳动新加坡参与科研。
加速布局AI视频2023年的字节跳动在AI领域的布局,确实可以用加速跑来形容。
从近期大模型云雀获批,到刚刚对外测试AI对话产品的豆包,以及6月字节跳动旗下火山引擎发布大模型服务平台“火山方舟”,面向企业提供模型精调、评测、推理等全方位的平台服务。
来源:火山引擎
而作为一家以短视频起家的互联网公司,除了深耕TikTok、抖音等平台外,视频一直是字节的强关注领域。
比如今年4月字节就在美国上架了一款以照片、视频为主的应用程序Lemon8,类似于海外的Instagram和Pinterest的混合体。除此以外,字节跳动旗下的另一款视频编辑工具“CapCut”,在苹果应用商店中被列为美国最受欢迎的应用软件之一。
虽然短视频业务市场占有率不低,但要论拥抱AI的速度,字节确实说不上快。对比之下,前段时间美图发布2023上半年财报,得益于AI视频、绘图等AIGC功能的推出,总收入12.61亿人民币,同比增长了29.8%。
The Information此前报道表示,字节跳动2022年总收入达到了850亿美元,同比增长38%,主要收入来自TikTok、视频游戏和企业软件等,AI还未能给字节带来任何巨大收益。
长按添加「智涌」小助手入群, 备注:公司+职务
文|尚恩
编辑|邓咏仪
字节正在跑步AI化,产品侧刚刚宣布对外测试AI对话产品豆包,又接连一口气在Github上发布两个AI视频项目。一个主多模态动画生成,另一个则专注文本导向的视频编辑。
目前在Github上,两个项目加起来已经拿到1000+星。
来源:公开网络
不仅如此,还引来大批网友围观,有人就直接表示:“一直想在TikTok火,有了AI这下可好办了”!
来源:Dave Villalva推特
目前,字节的这俩项目虽已上传GitHub和arxiv,但还没有公开代码,所以想上手玩还得稍等等了。
对此就有不少网友已经等不及,在线求代码中…
来源:Don Jose Valle推特
话不多说,来具体看看这俩AI视频生成项目的细节。
AI捕捉运动信号,一键生成视频MagicAvatar由字节跳动开发,是一款主打多模态输入生成的多模态框架,可以将文本、视频和音频等不同输入方式转化为动作信号,从而生成和动画化一个虚拟人物。
具体来说,通过简单的文本提示就能创建虚拟人物,也可以根据源视频生成跟随给定动作生产,还能对特定主题的虚拟人物进行动画化。
比如,输入“一个在火山里踢踏舞的宇航员”就能生成一个相应的虚拟形象。
来源:MagicAvatar
或者直接提供一个源视频,然后AI就会创建一个跟随给定动作的形象。
来源:MagicAvatar
看过生成效果,不少网友惊呼,Runway的Gen-1、Gen-2不香了!
来源:推特
根据字节团队的解释,相比以往直接从多模态输入生成视频,MagicAvatar独特之处主要是将视频生成明确分解为两个阶段。
第一阶段,主要将多模态输入(文本、视频、语音等)转换为表示运动的信号,如人体姿态、深度信息、DensePose等。第二阶段,则是将第一阶段生成的运动信号与外观描述一起输入到模型,然后生成视频。
这里提一嘴,DensePose是一种计算机视觉技术,用于将人体在图像上的姿态信息与一个3D人体模型进行关联。
来源:MagicAvatar
比如,我们想生成一个“女子交叉手臂在舞池跳舞”的视频,直接把提示词投喂给AI,AI会先识别生成交叉手臂的动作,然后再生成目标形象。
这样做的好处优势在于降低了学习难度,不同模态之间不仅可以使用独立的数据进行训练,且不需要所有模态都同时存在的数据集。
另外,MagicAvatar还支持用户上传目标人物的图片,来为特定人物生成动画,实现个性化需求。
来源:MagicAvatar
未来研究团队表示,还将推出音频引导形象生成的功能,到时候用户只用通过音频输入就能创建形象,比如说话、唱歌。
三阶段训练,AI高保真编辑MagicEdit是一个文生视频的编辑工具。用户只需要自然语言提示,就能轻松地改变视频的风格、场景甚至替换视频里的对象或添加元素,同时保持原视频的动作和外观一致,还可以通过视频混合功能创造出新颖的概念。
比如,把左边这只小兔子变成一个像兔子的老虎,直接提示Tiger就搞定。
OS:(虽然看着有点怪,不过意思是到了…)
来源:MagicEdit
具体来说,MagicEdit可以清晰地分离视频对象的外观和动作并进行学习,实现了高质量和时间连贯的视频编辑。它能够独立地处理和优化这两个方面,然后再将它们合成到一个新的完整的视频中。这样做的好处是,编辑过程更加灵活和高效,同时也能保证视频的质量和时间连贯性。
来源:MagicEdit
比如,你正在编辑一个视频,其中有一个人在跳舞,外观就是这个人的衣服、发型、脸型等,而动作就是他跳舞的动作。
来源:MagicEdit
简单来说,MagicEdit就像是一个聪明的导演,它能分别调整这个人的衣服和跳舞动作,然后再把这两者完美地结合在一起,按照不同个性化需求生成新的视频。
新视频可能背景、场景和风格不一样了,但是保持了原视频的人物外观和动作,同时整个视频看起来既漂亮又流畅。
来源:公开网络
目前,MagicEdit支持多种编辑应用,包括视频风格化、局部编辑、视频混合(Video-MagicMix等功能。视频风格化就是能够将源视频转换成具有特定风格,创建具有不同主题和背景的新场景,比如现实、卡通等。
来源:MagicEdit
局部编辑则允许用户对视频进行局部修改,同时保持其他区域不变。视频混合(Video-MagicMix)就类似于MagicMix,可以在视频领域内混合两个不同的概念,以创建一个新的概念。
除此以外,MagicEdit还支持视频扩展功能,可以在不重新训练的情况下进行视频扩展任务。
来源:MagicEdit
按照以前的逻辑,视频扩展通常需要针对此任务特别训练模型或微调,灵活性比较差。
因此研究团队,通过在去噪过程中灵活注入反向潜码(inverse latent)和随机噪声,这样可以保证已知区域不变,未知区域生成新的内容,然后无需重新训练就可以直接生成符合提示的新内容,极大提高了视频扩展比例的鲁棒性。
字节海外出品根据论文显示,这两个AI视频项目都是由字节的科学家共同发表,其中五位作者中有四人来自中国,且都曾在字节实验室做过研究或实习。
通讯作者严汉书(Hanshu YAN)是字节跳动新加坡的研究科学家,致力于视频/图像生成模型。
他本科毕业于北京航空航天大学电气工程专业,硕士和PhD都在新加坡国立大学,曾在新加坡海洋人工智能实验室(Sea AI Lab)实习。
来源:Hanshu YAN
Jun Hao Liew是字节跳动新加坡的计算机视觉科学家,他本科毕业于英国伦敦大学学院(UCL)的电子电气工程专业,硕士和PhD则是在新加坡国立大学就读,曾在Adobe实习。据Google Scholar显示,目前其论文引用量已经有1400多。
来源:GoogleScholar
其他几位作者,也都是在新加坡读博,并在字节跳动新加坡参与科研。
加速布局AI视频2023年的字节跳动在AI领域的布局,确实可以用加速跑来形容。
从近期大模型云雀获批,到刚刚对外测试AI对话产品的豆包,以及6月字节跳动旗下火山引擎发布大模型服务平台“火山方舟”,面向企业提供模型精调、评测、推理等全方位的平台服务。
来源:火山引擎
而作为一家以短视频起家的互联网公司,除了深耕TikTok、抖音等平台外,视频一直是字节的强关注领域。
比如今年4月字节就在美国上架了一款以照片、视频为主的应用程序Lemon8,类似于海外的Instagram和Pinterest的混合体。除此以外,字节跳动旗下的另一款视频编辑工具“CapCut”,在苹果应用商店中被列为美国最受欢迎的应用软件之一。
虽然短视频业务市场占有率不低,但要论拥抱AI的速度,字节确实说不上快。对比之下,前段时间美图发布2023上半年财报,得益于AI视频、绘图等AIGC功能的推出,总收入12.61亿人民币,同比增长了29.8%。
The Information此前报道表示,字节跳动2022年总收入达到了850亿美元,同比增长38%,主要收入来自TikTok、视频游戏和企业软件等,AI还未能给字节带来任何巨大收益。
长按添加「智涌」小助手入群, 备注:公司+职务
在信息爆炸的时代,写作成为了每个人必备的技能。无论是学生、职场人士还是自媒体人,都需要一款好的写作软件来提高写作效率。如今,市场上涌现出许多可以写文章的软件,它们功能各异,适用于不同的场景。而智能AI写作免费平台也在逐渐崭露头角,为写作者带来便利。本文将结合微撰特点,介绍一些可以写文章的软件和智能AI写作免费平台。
首先,我们来了解一些可以写文章的软件。目前市面上比较流行的写作软件有:MicrosoftWord、WPS、Ulysses、Byword等。这些软件具有强大的文字处理功能,可以满足用户在各种场景下的写作需求。例如,MicrosoftWord 是微软公司出品的一款文字处理软件,功能丰富,适用于各种文档的编写;WPS则是国内较为知名的办公软件,包含文字、表格、演示等多种功能,方便用户进行各种写作任务。
然而,对于一些需要大量创作、高效写作的用户来说,这些传统的写作软件可能无法满足他们的需求。此时,智能AI写作免费平台就派上用场了。智能AI写作免费平台通过大量的数据训练,可以理解用户的需求,并根据用户的输入生成相应的文字。目前,市面上比较受欢迎的智能AI写作免费平台有:微撰、AI写作助手、机器之心等。
其中,微撰是一款功能强大的AI写作工具,适用于各类营销推广、自媒体大V、短视频制作、公文写作等行业。微撰拥有上百种模板写作功能,可以轻松实现:标题生成文章、小红书各种种草笔记、知乎文案、文章大纲生成、短视频脚本、自定义输入、行业软文等上百种场景。同时,微撰还具备AI聊天功能,内置200+高级指令,像聊天般,轻松解决您的任何疑惑。针对深度创作用户,微撰支持深度编辑功能,包括排版、改写、润色、扩写、翻译、纠错、总结等功能。针对营销用户,微撰支持企业专属知识库,让模型更懂您的产品。针对媒体用户,微撰支持全网热点聚合内容生成,轻松实现蹭热点,助您轻松10w+。微撰支持电脑、手机等多终端使用,方便用户随时随地进行创作。
除了微撰之外,AI写作助手和机器之心也是不错的选择。AI写作助手是一款基于人工智能技术的智能写作软件,可以实现文本生成、摘要提取、文本分类等功能。机器之心则是一个涵盖多个领域的人工智能平台,可以为用户提供写作、翻译、语音识别等多种服务。
总之,随着科技的发展,写作软件和智能AI写作免费平台为我们带来了极大的便利。我们可以根据自己的需求选择合适的软件和平台,提高写作效率。在众多的写作软件和智能AI写作免费平台中,微撰凭借其丰富的功能和强大的性能,成为了许多写作者的首选。
Notepad++ 在Windows上是非常流行的源代码编辑器。但一方面Notepad++ 并不适合在Linux下使用。另一方面Notepad++软件作者太作了。NotepadNext是Notepad++的替代品,功能强大,页面几乎和N一模一样,不需要替代学习成本,强烈建议可以试试。
病毒软件Notepad++Notepad++是一款广受程序员欢迎的知名代码编辑器,作者为台湾程序员侯今吾。然而,近期有关作者在社交媒体上涉及政治偏见、争议言论的报道引发了关注。
最近,作者在Twitter上发布了一条令人不安的言论,声称如果用户与他的政治观点不一致,Notepad++会在源代码中插入随机字符。虽然后来他声称这只是个玩笑,但这并非是第一次出现类似争议。
在过去的版本中,Notepad++曾以“Stand with Hong Kong”和“Boycott Beijing 2022”等名称发布,引发了一些争议。这些行为与开源软件的中立原则相悖,让一些用户感到不满。
NotepadNext软件介绍NotepadNext是Notepad++ 的替代品。采用C++ 重写的跨平台文本编辑器,拥有和Notepad++ 相似的界面和功能。NotepadNext是一款轻量级的文本编辑器,具有简洁易用的界面和丰富的功能集。它基于 Electron 开发,支持 Windows、macOS 和 Linux 等多个操作系统。用户可以通过该软件打开、编辑和保存文本文件,以及进行格式化、搜索替换等操作。
NotepadNext功能特色文件夹作为工作区: NotepadNext支持将文件夹作为工作区,使文件管理更加有序和便捷。多语言支持: 软件支持多种编程语言,包括C++、YAML、XML、LaTeX、PHP、Python、R、Rust等,使不同编程任务更加灵活。UI自定义: 可以根据需要启用或禁用部分用户界面元素,以定制编辑环境。宏录制与执行: 支持录制宏、运行宏以及保存录制的宏,有助于自动化重复任务。查找和替换: 提供文件中查找和替换功能,方便快速修改文本内容。行操作: 支持对文本行进行操作,如插入、删除、移动等。编辑检查器: 提供详细的文档信息,有助于检查和编辑文本文件。缩进指南: 显示缩进指南,帮助编写规范的代码。撤消/重做功能: 提供撤消和重做按钮,方便在编辑过程中进行撤销和重做操作。放大/缩小: 支持文本的放大和缩小功能,以便更好地查看和编辑文本。Lua控制台: 集成Lua控制台,可能用于自定义脚本和插件。EOL操作: 能够处理行尾(End of Line)字符,有助于跨平台文件的编辑。大小写转换: 具备大小写转换功能,可根据需要修改文本大小写。总结NotepadNext成为一个功能丰富、灵活且可定制的文本编辑器,适用于多种编程和文本编辑任务。可以完全作为Notepad++的替代。当然,各位网友也可以根据自己喜好,在开源社区选择其他的代码编辑器,例如VScode、sublime等等。但我认为NotepadNext值得一试。
如对你有帮助劳烦点赞关注并收藏。我会经常分享各类有意思的软件和免费干货!
愿你读有所获,你我共同学习成长。