如何评价人工智能修复的 100 年前北京影像,有哪些意义和可以应用的方向_-大谷Spitzer
感谢 @知乎科技 邀请
北京小伙儿来回答一下~ 哈哈

感谢大家喜欢这个短片!!!
大家好!我是大谷Spitzer,旅居纽约的独立游戏开发者,独立艺术家和作曲人。目前正在一个人开发一款漫展模拟经营游戏《漫展模拟器》,程序,美术,音乐都是自己制作完成~
我一直有分享自己绘画、作曲、程序心得与经验的习惯,七年来也在自己的频道里制作了很多教程。这次发布的短片是我学习黑白影片修复AI的一个试验作品。
以前绘制的赛博朋克插画流程视频
首先讲一讲本片的创作动机~
作为一名独立游戏开发者,我最开始主动学习人工智能其实是为了尝试一下这些技术能否为自己的游戏开发节省时间和成本。但随着了解的深入,我发现人工智能不仅能在训练游戏NPC、制作游戏贴图、音乐作曲素材上有着各种便捷的使用方式,在更广阔的领域,甚至社会人文科普上都有着很有意思的应用前景。于是最近这一年我也开始制作了一系列视频,来介绍AI作曲、绘画、面部生成的各种小工具的使用方法~

这次的短片总共使用了三种不同的开源AI项目。
补帧使用DAIN(这里用的是http://Itch.io上的应用版程序) https:// github.com/baowenbo/DAIN

分辨率倍增部分使用ESRGAN(我用的是整合了UI界面的Image Enhancing Utility) https:// github.com/xinntao/ESRGAN

上色应用了DeOldify (可以加载Google Colab Notebook在线渲染) https:// github.com/jantic/DeOldify

此外用VirtualDub做了一些老电影降噪处理 http://www. virtualdub.org/

像DeOldify这样的上色人工智能目前仍然有很多不足的地方,最主要的问题就是颜色的历史精确性很难保证,同时片源的质量也对修复影响很大,就算是修复后使用ESRGAN进行分辨率倍增,也只能是做到保留低分辨率视频里已有的细节,而无法还原已经丢失的细节(比如过度模糊的人脸),像谍战片里那样监控录像里直接还原人物相貌什么的,暂时还是没法做到的哈哈。
此外。在颜色修复上,目前的DeOldify即使是使用三个预训练模型中最稳定的Video model,颜色抖动程度仍然很大,饱和度偏低,还远没法达到艺术家手工胶片上色的精准(在这里再次对这些艺术家朋友表达一下敬佩之情)。我始终相信,人工智能是不会彻底取代人类的,而是能够解放人类的双手,让每个人有更多的时间和精力去从事创造与探索相关的工作。
另外这些AI对显卡的需求不低(写到这里,不禁想起了CUDA Out of Memory的恐怖),我因为纽约疫情去了女朋友家避难,设备只带了个以前参加艺术展出时使用的笔记本电脑。最后还是多亏求助女朋友借了她工作用的高配显卡主机才挽救了这个项目……

最后是关于影片年份的讨论,看了各位网友的评论,其中不乏有许多民俗大佬,甚至连影片里出现的胡同都考据出来了,我也学到了非常多!感谢大家的厚爱!!
就现在和网友讨论的结果来说,我对影片年份也是存疑。例如影片中出现的保卫和平坊(克林德碑)保留了损毁前的四柱三间七楼结构,而不是1918年在中山公园重新修复后的四柱三间三楼石坊,至少可以说明这个镜头摄于1918年前。但是加拿大源数据库的标注年份也确为1920-1929,我便还是按官方引用格式先这么写了。希望未来能有专业的历史学者,一起还原这段视频中每个镜头真正的拍摄年份。


最后的最后给大家分享一个可以快速为老照片上色的网站吧!
Image Colorization AP,基于DeOldify最新艺术风格模型(Artistic model)的Demo:https://deepai.org/machine-learning-model/colorizer
使用非常便捷,点击网页中的Image按钮上传黑白老照片,一键即可生成上色的照片小图,欢迎大家去试试看哈哈!
以下是我输出的几个结果。虽然分辨率不高,但上色效果还是非常可以的!~



我这次的设备友情“赞助商”女朋友也用这个网站还原了自己外公当年从军时期的黑白老照片,感慨那段时光。
老照片原图
48年外公在东北四野合影
48年四野161师482团部合影(外公为团政委)
49年担任亚太会议巴基斯坦组组长的合影
那么就是这样!欢迎大家来支持我的频道,未来会给大家带来更多更好玩的作品的!
评论区
偷偷点否折磨队友: 啊!!!本人!!是本人!!!!好强啊 👍🏽20 💭N/A IP 🕐2020-05-13 15:01:17
│ └── 大谷Spitzer: 感谢支持!!!!![爱心] 👍🏽8 💭N/A IP 🕐2020-05-13 15:01:55
MoonMercury: 有部分色彩仍然不准确,不过确实很惊艳了,微博b站都上榜了 👍🏽19 💭N/A IP 🕐2020-05-13 15:06:05
│ └── 大谷Spitzer: 是的!和手工胶片恢复还有很大的差距 👍🏽2 💭N/A IP 🕐2020-05-13 15:07:24
呆萌一颗大钻石: 真的很强了,还有配的音乐也都很棒 👍🏽4 💭N/A IP 🕐2020-05-13 15:54:16
ycshaka: 颜色是否正确呢?用哪种颜色是猜的吧 👍🏽3 💭N/A IP 🕐2020-05-13 15:51:20
│ └── 大谷Spitzer: 是人工智能根据自己学习的经验上的色,不代表历史准确性 👍🏽1 💭N/A IP 🕐2020-05-13 16:37:55
我们的小树: 居然是原作者,大赞,顺便关注一波 👍🏽2 💭N/A IP 🕐2020-05-13 16:14:28
扒你家窗户: 居然是本人来回答了,大写的赞,牛坯 👍🏽2 💭N/A IP 🕐2020-05-13 15:58:31
江户川: 穿的衣服是按照传统穿着上色还是通过光线算出 👍🏽2 💭N/A IP 🕐2020-05-13 15:49:46
胖子老师呀: 真的强,我们公司也是搞这个的 👍🏽2 💭N/A IP 🕐2020-05-13 15:34:34
jubeater: 好像好久以前看过你在a站发的帖子 👍🏽2 💭N/A IP 🕐2020-05-13 15:29:47
山羊也爱吃草莓: 真的很神奇啊 👍🏽2 💭N/A IP 🕐2020-05-13 15:12:36
安之: 您好,想问下分辨率倍增这个步骤,ESRGAN好像只支持图片分辨率倍增,作者是把视频切分成多张图片,然后倍增的吗? 👍🏽1 💭N/A IP 🕐2020-05-13 16:34:38
│ └── 大谷Spitzer: 对的,用图片序列就可以了再导入Premiere里面编辑即可 👍🏽0 💭N/A IP 🕐2020-05-13 16:36:50
│ └── 安之: 感谢(•ˇ‿ˇ•)-→ 👍🏽0 💭N/A IP 🕐2020-05-13 16:41:40
│ └── 安之: 再打扰一下,您这个视频分辨率倍增大概用了多久,我想把cs229全被倍增一遍,但是害怕时间太长😂 👍🏽0 💭N/A IP 🕐2020-05-13 16:43:57
│ └── 黄胖子: 这恐怕得你的电脑说了算 👍🏽0 💭N/A IP 🕐2020-05-13 16:58:19