如何评价人工智能修复的 100 年前北京影像，有哪些意义和可以应用的方向_-大谷Spitzer

感谢 @知乎科技 邀请

北京小伙儿来回答一下~ 哈哈

感谢大家喜欢这个短片！！！

大家好！我是大谷Spitzer，旅居纽约的独立游戏开发者，独立艺术家和作曲人。目前正在一个人开发一款漫展模拟经营游戏《漫展模拟器》，程序，美术，音乐都是自己制作完成~

我一直有分享自己绘画、作曲、程序心得与经验的习惯，七年来也在自己的频道里制作了很多教程。这次发布的短片是我学习黑白影片修复AI的一个试验作品。

以前绘制的赛博朋克插画流程视频

首先讲一讲本片的创作动机~

作为一名独立游戏开发者，我最开始主动学习人工智能其实是为了尝试一下这些技术能否为自己的游戏开发节省时间和成本。但随着了解的深入，我发现人工智能不仅能在训练游戏NPC、制作游戏贴图、音乐作曲素材上有着各种便捷的使用方式，在更广阔的领域，甚至社会人文科普上都有着很有意思的应用前景。于是最近这一年我也开始制作了一系列视频，来介绍AI作曲、绘画、面部生成的各种小工具的使用方法~

这次的短片总共使用了三种不同的开源AI项目。

补帧使用DAIN（这里用的是http://Itch.io上的应用版程序） https:// github.com/baowenbo/DAIN

分辨率倍增部分使用ESRGAN（我用的是整合了UI界面的Image Enhancing Utility） https:// github.com/xinntao/ESRGAN

上色应用了DeOldify （可以加载Google Colab Notebook在线渲染） https:// github.com/jantic/DeOldify

此外用VirtualDub做了一些老电影降噪处理 http://www. virtualdub.org/

像DeOldify这样的上色人工智能目前仍然有很多不足的地方，最主要的问题就是颜色的历史精确性很难保证，同时片源的质量也对修复影响很大，就算是修复后使用ESRGAN进行分辨率倍增，也只能是做到保留低分辨率视频里已有的细节，而无法还原已经丢失的细节（比如过度模糊的人脸），像谍战片里那样监控录像里直接还原人物相貌什么的，暂时还是没法做到的哈哈。

此外。在颜色修复上，目前的DeOldify即使是使用三个预训练模型中最稳定的Video model，颜色抖动程度仍然很大，饱和度偏低，还远没法达到艺术家手工胶片上色的精准（在这里再次对这些艺术家朋友表达一下敬佩之情）。我始终相信，人工智能是不会彻底取代人类的，而是能够解放人类的双手，让每个人有更多的时间和精力去从事创造与探索相关的工作。

另外这些AI对显卡的需求不低（写到这里，不禁想起了CUDA Out of Memory的恐怖），我因为纽约疫情去了女朋友家避难，设备只带了个以前参加艺术展出时使用的笔记本电脑。最后还是多亏求助女朋友借了她工作用的高配显卡主机才挽救了这个项目……

最后是关于影片年份的讨论，看了各位网友的评论，其中不乏有许多民俗大佬，甚至连影片里出现的胡同都考据出来了，我也学到了非常多！感谢大家的厚爱！！

就现在和网友讨论的结果来说，我对影片年份也是存疑。例如影片中出现的保卫和平坊（克林德碑）保留了损毁前的四柱三间七楼结构，而不是1918年在中山公园重新修复后的四柱三间三楼石坊，至少可以说明这个镜头摄于1918年前。但是加拿大源数据库的标注年份也确为1920-1929，我便还是按官方引用格式先这么写了。希望未来能有专业的历史学者，一起还原这段视频中每个镜头真正的拍摄年份。

最后的最后给大家分享一个可以快速为老照片上色的网站吧！

Image Colorization AP，基于DeOldify最新艺术风格模型（Artistic model）的Demo：https://deepai.org/machine-learning-model/colorizer

使用非常便捷，点击网页中的Image按钮上传黑白老照片，一键即可生成上色的照片小图，欢迎大家去试试看哈哈！

以下是我输出的几个结果。虽然分辨率不高，但上色效果还是非常可以的！~

我这次的设备友情“赞助商”女朋友也用这个网站还原了自己外公当年从军时期的黑白老照片，感慨那段时光。

老照片原图48年外公在东北四野合影48年四野161师482团部合影（外公为团政委）49年担任亚太会议巴基斯坦组组长的合影

那么就是这样！欢迎大家来支持我的频道，未来会给大家带来更多更好玩的作品的！

评论区

偷偷点否折磨队友: 啊！！！本人！！是本人！！！！好强啊 👍🏽20 💭N/A IP 🕐2020-05-13 15:01:17

│ └── 大谷Spitzer: 感谢支持！！！！！[爱心] 👍🏽8 💭N/A IP 🕐2020-05-13 15:01:55

MoonMercury: 有部分色彩仍然不准确，不过确实很惊艳了，微博b站都上榜了 👍🏽19 💭N/A IP 🕐2020-05-13 15:06:05

│ └── 大谷Spitzer: 是的！和手工胶片恢复还有很大的差距 👍🏽2 💭N/A IP 🕐2020-05-13 15:07:24

呆萌一颗大钻石: 真的很强了，还有配的音乐也都很棒 👍🏽4 💭N/A IP 🕐2020-05-13 15:54:16

ycshaka: 颜色是否正确呢？用哪种颜色是猜的吧 👍🏽3 💭N/A IP 🕐2020-05-13 15:51:20

│ └── 大谷Spitzer: 是人工智能根据自己学习的经验上的色，不代表历史准确性 👍🏽1 💭N/A IP 🕐2020-05-13 16:37:55

我们的小树: 居然是原作者，大赞，顺便关注一波 👍🏽2 💭N/A IP 🕐2020-05-13 16:14:28

扒你家窗户: 居然是本人来回答了，大写的赞，牛坯 👍🏽2 💭N/A IP 🕐2020-05-13 15:58:31

江户川: 穿的衣服是按照传统穿着上色还是通过光线算出 👍🏽2 💭N/A IP 🕐2020-05-13 15:49:46

胖子老师呀: 真的强，我们公司也是搞这个的 👍🏽2 💭N/A IP 🕐2020-05-13 15:34:34

jubeater: 好像好久以前看过你在a站发的帖子 👍🏽2 💭N/A IP 🕐2020-05-13 15:29:47

山羊也爱吃草莓: 真的很神奇啊 👍🏽2 💭N/A IP 🕐2020-05-13 15:12:36

安之: 您好，想问下分辨率倍增这个步骤，ESRGAN好像只支持图片分辨率倍增，作者是把视频切分成多张图片，然后倍增的吗？ 👍🏽1 💭N/A IP 🕐2020-05-13 16:34:38

│ └── 大谷Spitzer: 对的，用图片序列就可以了再导入Premiere里面编辑即可 👍🏽0 💭N/A IP 🕐2020-05-13 16:36:50
│ └── 安之: 感谢(•ˇ‿ˇ•)-→ 👍🏽0 💭N/A IP 🕐2020-05-13 16:41:40
│ └── 安之: 再打扰一下，您这个视频分辨率倍增大概用了多久，我想把cs229全被倍增一遍，但是害怕时间太长😂 👍🏽0 💭N/A IP 🕐2020-05-13 16:43:57
│ └── 黄胖子: 这恐怕得你的电脑说了算 👍🏽0 💭N/A IP 🕐2020-05-13 16:58:19

萧刊: 硬核老乡 给你点赞 [棒] 👍🏽1 💭N/A IP 🕐2020-05-13 16:01:23

这下: [赞] 👍🏽1 💭N/A IP 🕐2020-05-13 15:57:31

无名小卒: 非常牛逼的大神。但是我觉得应该不会有那么多紫色，毕竟那个时候受限于生产工艺紫色本来就是很少见的颜色，而且一直都是官方管控。印象里一直到建国初期也不会有很多。 👍🏽1 💭N/A IP 🕐2020-05-13 15:53:04

花生了什么树: 大谷大谷我爱你！ 👍🏽1 💭N/A IP 🕐2020-05-13 15:48:21

有榕: 艾玛，太厉害了！ 👍🏽1 💭N/A IP 🕐2020-05-13 15:47:52

波比: 厉害 👍🏽1 💭N/A IP 🕐2020-05-13 15:47:05

小二: 活色生香 👍🏽1 💭N/A IP 🕐2020-05-13 15:08:26

寒哥: 落后的清政府，有什么好评价的！ 👍🏽0 💭N/A IP 🕐2020-06-11 07:27:49

yyy: 都抖音看到的，真的好厉害啊 👍🏽0 💭N/A IP 🕐2020-05-27 00:08:07

卤水点豆腐: 大佬能给熊猫上色吗 👍🏽0 💭N/A IP 🕐2020-05-26 18:41:59

Effer: 用心了～🌹与100年前的人对视真的真的是好奇妙的感觉啊 👍🏽0 💭N/A IP 🕐2020-05-24 17:15:46

洛可可: 评论区惊现大佬[惊喜][惊喜] 👍🏽0 💭N/A IP 🕐2020-05-24 08:15:07

阿 丑: 有想学修图视频剪辑的嘛 👍🏽0 💭N/A IP 🕐2020-05-23 13:48:50

轨迹: 无法目睹先人的真面目，但可以看到他们的劳动成品。这都是我们的幸运 👍🏽0 💭N/A IP 🕐2020-05-23 13:44:54

光线魔法师: [赞][赞] 👍🏽0 💭N/A IP 🕐2020-05-23 05:10:18

知乎用户5fR83D: 好棒哦 👍🏽0 💭N/A IP 🕐2020-05-22 17:13:26

怡灵老姐: 当我看到这个短视频的时候真的很震惊，大神，你太厉害了 👍🏽0 💭N/A IP 🕐2020-05-19 00:12:22

范琪盼: 太强了吧，大神存在 👍🏽0 💭N/A IP 🕐2020-05-18 20:52:02

胡融: 照片里面是爱因斯坦吗？好性感的短裤和凉鞋[飙泪笑] 👍🏽0 💭N/A IP 🕐2020-05-17 16:33:47

鬼扰: 6666 👍🏽0 💭N/A IP 🕐2020-05-17 10:15:13

龛锵: 厉害👍👍👍 👍🏽0 💭N/A IP 🕐2020-05-17 07:00:45

小希: 我可以引用吗？学校的选修课期末论文作业 👍🏽0 💭N/A IP 🕐2020-05-16 21:39:04

Forrest: 我忘了ESRGAN的生成器架构了，但是这几年新出的GAN的生成器是越来越大，越来越深了，很多不要说自己练，跑起来都很慢，显卡要求也很高，比如Style GAN。其实很多应用原空间到目标空间的跨度没那么大，没必要用很深很大的生成器，U-Net级别的生成器就很够了。 👍🏽0 💭N/A IP 🕐2020-05-16 12:29:20

胡圣朗: 不错，很有感觉 👍🏽0 💭N/A IP 🕐2020-05-16 10:12:15

猫狗宠物羊毛定制: 大佬，神人，牛啊 👍🏽0 💭N/A IP 🕐2020-05-15 15:04:35

神奇的葛蛋蛋: 那个网站上传了照片在哪里保存呐 👍🏽0 💭N/A IP 🕐2020-05-15 12:13:13

呆呆: 大佬 👍🏽0 💭N/A IP 🕐2020-05-15 10:56:50

不严名柯西: 太有趣了 👍🏽0 💭N/A IP 🕐2020-05-15 01:33:20

桃酥妹妹: 啊 好厉害 👍🏽0 💭N/A IP 🕐2020-05-15 00:10:44

game139: 简直无敌，让我看到了过往岁月的真实容貌，太感谢了。 👍🏽0 💭N/A IP 🕐2020-05-14 23:45:55

Neo: 啥也没看懂，就觉得厉害 👍🏽0 💭N/A IP 🕐2020-05-14 21:52:16

簿仔登记: 你真厉害 👍🏽0 💭N/A IP 🕐2020-05-14 20:19:33

少时锦年2018: 妥妥的知乎技术大神[赞] 👍🏽0 💭N/A IP 🕐2020-05-14 15:14:39

黄梅老祖: 打卡合影^^ 👍🏽0 💭N/A IP 🕐2020-05-14 13:37:05

气凝胶Ch1: 有点地方上的阴影好像有点夸张了 👍🏽0 💭N/A IP 🕐2020-05-14 12:26:13

都阿川: [捂嘴]问题是不是自己提的 👍🏽0 💭N/A IP 🕐2020-05-14 11:35:46

十里: 找到本人！开心！超级棒啊[赞同] 👍🏽0 💭N/A IP 🕐2020-05-14 10:48:41

丘比特猫: 本人来了！ 👍🏽0 💭N/A IP 🕐2020-05-14 08:50:54

山河远阔: 好赞 👍🏽0 💭N/A IP 🕐2020-05-14 02:05:41

brother-bwind: 100年前，雾霾也很严重[爱][爱] 👍🏽0 💭N/A IP 🕐2020-05-14 01:48:30

Billy Wang: VirtualDub还活着啊，想起来dvdrip的年代 👍🏽0 💭N/A IP 🕐2020-05-13 23:15:10

legend: 所以你生成了多少老婆[不抬杠] 👍🏽0 💭N/A IP 🕐2020-05-13 17:27:06