上一篇
下一篇
《阿凡达》的存储体验之旅
作者:luoweji 日期:2010-02-03
《阿凡达》的存储体验之旅
惠普刀片服务器助力打造《阿凡达》视觉盛宴
130.com/CMS/Pub/news/2010_01_31_13980_3.htm">《阿凡达》热映 消耗存储空间超1PB
IBM System x“抢镜”阿凡达
《阿凡达》的幕后英雄：存储集群NAS
由《阿凡达》看云计算
走进为《阿凡达》进行渲染的数据中心
15年前由制片者彼得·杰克逊、理查·泰勒和杰米·希尔克发起建立，这个工作室成为了《指环王》系列电影、《金刚》重制版、《2012》等大片、以及众多炫目的广告片的摇篮。如今它又为詹姆斯·卡梅隆导演的耗资2亿3千万的大电影进行艰苦的渲染工作。实际上，4尊小金人和5个奥斯卡提名都不如一部《阿凡达》更能让这个数据中心吸引人们的眼球。
这里是全球瞩目的焦点，这里是世界电影的前沿…在这里，丛林环绕，5000名特种兵重兵把守…这里坐落着《阿凡达》生产基地，美国圣地亚哥…啊不对，以上都属口胡，我们今天要说的是为电影《阿凡达》进行渲染的数据中心。全球有很多风格各异的数据中心，不过新西兰的Weta Digital肯定是最有目的性的。15年前由制片者彼得·杰克逊、理查·泰勒和杰米·希尔克发起建立，这个工作室成为了《指环王》系列电影、《金刚》重制版、《2012》等大片、以及众多炫目的广告片的摇篮。如今它又为詹姆斯·卡梅隆导演的耗资2亿3千万的大电影进行艰苦的渲染工作。实际上，4尊小金人和5个奥斯卡提名都不如一部《阿凡达》更能让这个数据中心吸引人们的眼球。
出版商朱迪·艾利说，“前几个月我们接受了100多次采访。”艾利坦言，有人能注意到华丽的商业运作背后，支持这一切呈现出来的技术因素，让他感到欣慰。 正如他们解释的那样，Weta和《阿凡达》类型的鸿篇巨制得以呈现的关键因素就是数据中心提供的强大运算能力，以及艺术品一样驱动计算进行的数据管理。
2008 年Weta数据中心重新装配了10000平方米的机房，填满了惠普BL2x220c刀片式服务器，总计拥有4万多个处理器和104TB RAM，通过光纤连接读写大约3 PB的数据。多重10G网络连接紧密的包裹起上述装备。因为数据流要求绝对稳定，所以所有运算都不能借助互联网，而需通 过本地机房网络以尽可能高的带宽完成。
为保持机房平稳运转，Weta装配了强制水冷设备，提升地板增强散热，但也只是勉强抵挡为《阿凡达》这样的 电影运算时散发出的强大热力。好在他们的选址让冬天需要的制冷成本大大降低，全水冷的总造价要低于使用空调的费用。每年因为调整一度室温，他们可以节省几 万美元。数星期前，这个数据中心因为比同等规模的机房节省40%制冷成本而获节能奖。
Weta Digital实际上由构建物理模型的Weta工作室和进行实际运算的Weta数据中心两部分组成。“如果什么东西能拿在你的手心，它就出自Weta工作室。哪怕那是实际上不存在的东西，我们也能为你造出来。”
Weta的视觉特效处理单元，数字艺术家们使用Maya和皮克斯的renderman等 软件把导演脑中所想变成三维图形。工作人员介绍，电影工业的流程百年来变化不大，只有工具不同，另外和数据的联系也更紧密。
一个视觉特效数据中心 的最主要工作就是渲染，这就是乔·维尔基负责监视的工作。他每天站立在被称为“渲染墙”的计算机集群前，监视数据在管线之间的自由流动。他这样的工作被称 为“牧马人”。这原来是形容西部片中用来监管马厩的职位的，当年的西部片中需要真实的马匹来营造气氛，和现在的特效制作确有异曲同工之妙。
群集系 统是皮克斯出品的，名叫“阿尔弗雷德”的多任务阶梯式架构，把一个大任务分成数千个独立的小单元来处理。每当有CPU完成任务空闲，就会被随机分配新的任 务。在高峰时段，《阿凡达》每天要处理10000多个任务，也就是大约1300-1400万个小单元。这是因为24帧每秒的电影画面每一帧都要独立的拆出 来加以渲染。
数据中心要处理每秒7-8GB的数据，最近一段时间还要24小时连续运行。设备运行既不能太快，也不能太慢，而需要保持稳定的速度。而相比之下，《阿凡 达》成品源文件的数据容量就要微小得多了，仅仅是每帧12MB左右的数据，每秒288M或每分钟17.28G。其实这个数字也很吓人。
能让这个数字奇迹上演，需要一大堆电子艺术精英，计算机专家和数据库工作人员的通力合作。这么大规模的人员调动和协作在国外是少有的。这些人既充分发挥了他 们的独立智慧，又体现出犹如一体的紧密联系，和不计成本的合作，才使这部片子的每一帧都精益求精，几乎无可挑剔。他们就像矗立在机房里的每一架刀片式服务器一样，是影片《阿凡达》的最大功臣。
惠普刀片服务器助力打造《阿凡达》视觉盛宴
作为2010年的第一大片，《阿凡达》上映短短几天，即在全球席卷十亿美元，而1月4日开始在中国上映，更是掀起了对这部科幻史诗的热议，达到了一票难求、场场爆满的程度。如此出色的电影，与其精彩的视觉效果是分不开的，《阿凡达》不愧为新的一年里一场视觉盛宴。事实上，《阿凡达》的3D特效被认为是开创了电影技术的新纪元。
电影《阿凡达》的火爆，将为其进行渲染的数据中心——位于新西兰的Weta Digital再次带到人们关注的中心。这个工作室还参与过《指环王》、《金刚》和《2012》等电影的制作，并摘得过奥斯卡奖。
在竞争激烈的虚拟影视效果市场中，对于一个视觉特效数据中心来说，找到速度更快、能效更高的技术是保持竞争优势的最关键要素之一。Weta Digital所依仗的正是先进的科技，其中离不开惠普刀片服务器的功劳。
2008年，Weta Digital将其超级计算集群的容量提升了一倍。新的系统由4个超级计算集群组成，并使用了1280台HP BladeSystem BL2x220c刀片服务器，后者的累积峰值计算性能高达205万亿次浮点运算/秒。由于应用性能和能效的提升，Weta Digital不仅能以更快的速度制作最先进的动画产品，而且也能降低运营成本。
HP BladeSystem BL2x220c刀片服务器将Weta Digital数据中心的处理能力提高了一倍，使其不仅能够提高处理能力，而且无需扩建数据中心，或者支付冷却几百个刀片服务器所需的额外费用。
功能强大的高能效HP BladeSystem BL2x220c刀片服务器拥有灵活的体系结构，能够让客户大幅节省成本、空间和电能。惠普刀片服务器具有灵活、高能效和价格合理的特点，可为客户提供高性能、分布计算应用所需的最大密度。HP BladeSystem BL2x220c刀片服务器正为全球一些能效最高、符合行业标准的超级计算集群提供强大支持。对于那些希望在不增加基础设施成本的前提下获得最高应用性能的企业而言，上述性能优势以及双倍的单机架性能使得HP BladeSystem BL2x220c成为他们的首选。
《阿凡达》热映 消耗存储空间超1PB
专门创造了一种外星语言的《AVATAR》（阿凡达）是电影史上最昂贵的影片，据称其初始预算为2.3亿美元，最终成本超过3亿美元，纽约时报更是称其总耗资已超过5亿美元。这样一部鸿篇巨制的很大一部分成本都花在了技术上，仅是动画渲染需要的硬盘存储空间就超过1PB（1000TB）。
导演詹姆斯卡梅隆在上部作品《泰坦尼克号》后就开始策划这部影片，但当时估算出的4亿成本吓走了所有电影公司。2002年，他在看到《指环王2：双塔奇兵》中的3D动画人物咕噜（Gollum）后，确定当今的技术已经可以实现《阿凡达》的设想，于是重新将这一计划搬了出来。
如今成为现实的《阿凡达》电影中，40%的画面由真实场景拍摄，60%完全由电脑动画生成，拍摄立体画面使用的全新3D Fusion Camera系统也耗费了大量的成本。据称其CG动画渲染共使用了超过1PB的存储空间，即使不考虑RAID空间损耗和备份，仅使用500块2TB硬盘搭建这套存储系统，成本就在10万美元以上。当然，这相比全片数亿美元的成本只是小巫见大巫了。
IBM System x“抢镜”阿凡达
短短几周之内，科幻巨作《阿凡达》席卷全球票房，其他影片莫不退避三舍，避其锋芒。各大影院不分放映厅全部在放映阿凡达。但也有另外，1月19日，位于北京CBD核心区的万达影院就在黄金档期上演了一场“IBM System x光影体验之旅”。
IBM System x光影体验之旅
影片的主角当然是System x x86服务器，故事内容从未来展望、IBM System x服务器成功案例，到基于IBM System x平台的众多优秀解决方案。不仅内容翔实，配合精心制作的视频短片和现场专家讲解，加以舒适的环境、轻松的氛围，以及现代影剧院特有的高品质视听效果，IBM System x的故事被演绎的美轮美奂，生动感人。此次IBM System x光影体验之旅涉及办公自动化、Web网页服务、通用数据备份和容灾解决方案、简化IT管理、提高服务器利用率、高性能计算集群，以及时下最热门的云计算解决方案等。
IBM System x大中华区系统技术销售总经理甘兆明先生指出：“IBM System x光影体验之旅，是为了使企业用户可以走出机房和办公室，在一个更加舒适的环境中，轻松的与IBM讨论信息化建设中的种种问题。IBM也愿意继续以这种形式回馈企业，回馈用户，并将领先的IT技术和解决方案源源不断的分享给大家，以帮助企业用户构建动态的IT基础架构，从容面对挑战，并把握‘智慧的地球’所赋予的历史性机遇!”
“IBM System x光影体验之旅”座无虚席
据记者了解，“IBM System x光影体验之旅”在2010年一季度之内，还将兵分三路，陆续登陆宁波、厦门、长春、南昌、佛山、保定、郑州、绵阳、济南、西安、柳州、合肥、成都和哈尔滨等城市，这些地方的用户将有机会与IBM System x专家近距离交流，享受System x光影之旅的技术和视听冲击!
作为专业媒体的记者，自然很难被视觉形式上的东西所干扰。但是通过观看“IBM System x光影体验之旅”，我还是发现了一些以往没有注意的问题。以质量为例，都说x86服务器是同质化竞争，谁比谁也没有更多的竞争优势，只有价格和服务才是第一位的。但是IBM的专家告诉我们，他们在制造System x服务器的时候，仅插拔件所采用的镀金量就比业内多处一倍。其目的就是能够保证多次插拔之后，产品质量稳定可靠。为此，IBM制定了严格的元件检测体系，严把原材料的质量关，与此同时IBM与信誉好、质量好的合作伙伴建立了“领先性合作伙伴” 供应商的关系。
“x架构”是IBM System x另外一个独具独特的技术。随着处理器性能的不断加强，特别是多路服务器，如何更好发挥出处理器的强大计算性能，那么芯片组设计直观重要。目前，服务器厂商多采用英特尔所提供的芯片组，但是IBM采用自己设计的“x架构”芯片组，可以灵活构建4、8、12和16 路服务器。“x架构”设计始自1997年，先后经历了5代发展，2010年第五代“x架构”将推出。甘兆明表示，IBM将会继续投资“x架构”的生产和研发。
目前IBM System x服务器以双路服务器为基础，向上可以扩展到以x3850、x3950为代表的多路服务器，最高可以扩展到16路;向外扩展，System x根据Web 2.0、HPC以及网格计算的需要，推出了iDataPlex服务器，它具有集成度高，更加绿色节能的特点。如果用户需要更高的集成度，IBM提供了刀片服务器，可以在10U高度内集成了14片双路刀片服务器，不仅减少了线缆的用量，增加了系统可靠性，与此同时，通过共享电源和散热风扇，刀片服务器具有更好的节能效果。
为了提高硬件的管理水平，实现更好的灵活性、绿色节能特性，IBM System Director 6.1提供了基于统一界面集中管理，不仅可以检测硬件的运行情况，提供硬件故障预警，还可以提供虚拟机一体化的统一管理。提供针对电源的有效管理措施。System Director 6.1还可以向上与IBM Tivoli进行集成，针对上层软件应用提供高水平的管理。
这些技术比较抽象，不直观，此前虽然也进行了很多的介绍，但是掌握起来还是有些困难。如今，IBM System x光影体验之旅借助影视的手段，更加直观生动，一些复杂的技术，如QPI、x架构更加直观生动，具有更好的宣传效果。我想这也是IBM敢于抢滩“阿凡达”的重要原因，科技的魅力同样是无比巨大的。
《阿凡达》的幕后英雄：存储集群NAS
随着《阿凡达》的全球热映，为影片制作数字特效的新西兰公司Weta Digital也越来越受到关注。据该公司介绍，影片中的细节动画所需要的马力远远超过一个集群NAS系统自身能够提供的马力。
为了支持该项目，其中包括3D角色脸部动画的新突破，Weta Digital建立的存储系统结合了BlueArc的Titan 集群NAS阵列以及NetApp的FlexCache。随着特效变得越来越先进，对容量和性能的要求开始超过Weta Digital之前支持过的最大系统，例如2005年的《金刚》。“《金刚》使用了100 TB的存储，”Weta Digital首席技术官Paul Ryan说，“而《阿凡达》，(我们的服务器群)就有100 TB的RAM。”
为了支持数字特效的渲染过程，Weta Digital有一个服务器群，被称为“渲染墙”，包含35,000个CPU内核。 在渲染过程中，同一图像的多个层次和局部画面合并形成一帧完整的电影画面。“这给存储造成了一些有趣的问题，”瑞恩说， “也就是说，我们会碰到这种情况，‘渲染墙’中有一万个过程同时试图访问同一文件或文件组，从而导致了我们存储中的热点。”
大文件的服务者：Titan
为了缓解这一问题，该公司首先引进了三个四节点的配置，是BlueArc的Titan 3200集群NAS系统，每个系统拥有200TB容量，来支持《阿凡达》。BlueArc系统的市场定位是为数量大的大文件提供服务，而像Weta digital这样的媒体和娱乐公司通常使用大文件。一个配置完全的3200集群可以容纳高达4PB的容量;BlueArc声称，3200可以支持高达20万IOPS或高达20 Gbps的吞吐量。Ryan介绍，Weta Digital曾经使用过一个Titan 3200群集。
但仍存在另一个问题。 “我们有一个纹理数据，是一个相当小的数据集, 总共在1TB到5TB，但几乎每一个在‘渲染墙’的过程都想访问该纹理数据。”Ryan说。由于这种数据访问模式，“我们发现，无论我们分配多大的带宽给纹理数据，渲染墙都将消耗所有的带宽。”
“热”数据的复制者：FlexCache
Ryan说：“我们和NetApp合作已久。”估计Weta Digital使用NetApp 文件服务器至少有十年之久，公司已经有将近600TB的NetApp存储用来服务用户文件共享。 约九个月前，Weta Digital 引进了一个新的双节点高可用性集群，是NetApp的高端FAS6080集群系统，以及也是配置成双节点高可用性的集群：八台NetApp的FlexCache设备。
NetApp的FlexCache旨在支持类似Weta Digital 渲染墙这样的应用。它通过使用本地缓存卷自动复制“热”数据，从而适应不断变化的使用模式。
虽然NetApp和BlueArc的系统不相互“交谈”，但Weta Digital找到了一种方法，让它们有效地共存。 NetApp的集群负责提供数据给渲染墙，而BlueArc的系统负责存储渲染系统产生的电影画面。 “我们知道BlueArc的产品不错，我们也知道它们速度快，而且绝对符合我们的期望值。”瑞恩说， “但是，在过去的一年中令我们眼前一亮的新事物是FlexCache。”
Ryan说，自动性能管理是FlexCache的一大亮点。 “我们以前用过普通文件服务器来服务纹理文件，但是这需要我们手动对复制进行管理。我们不得不在许多不同的文件服务器上都保留这些纹理文件的副本。”他说。
虽然目前的设置运作良好，“我们一直在寻找更加细化的工具来寻找存储热点以及哪些用户试图访问，”Ryan说，“增加BlueArc的功能可以延迟问题的出现，FlexCache则提供更多的带宽。不过，当热点出现时，如何对热点进行分析，仍然存在一定的难度。”
由《阿凡达》看云计算
昨天晚上跟实验室的一帮哥们儿去看了传说中的《阿凡达》。首次看3D版本的电影甚是震撼，场面自不必说，卡梅隆的片子这点还是有保证的。情节虽然稍显俗套，不过韩寒同志曾经说过，强拆行为在美国人眼中仍然是一件非常不可思议的事情，因此关于“钉子户”同“政府以及开发商”之间的矛盾斗争题材却也能算得上是差强人意吧^-^
然而作为即将沦为一名人民教师以及科研打工者的人来说，用科研的眼光看待生活中的一些事物貌似已经变成一种习惯与本能(感觉一个根正苗红的花朵就这么惨遭蹂躏成这般)，当然观看《阿凡达》自然也不例外。
最近在工业界与学术界有个很hot的名词出现，这就是云计算。
————
云计算是一种全新的网络计算(Network Computing)模式，由分布式计算、网格计算等技术发展而来，并融合了虚拟化、Web 2.0等技术。它将计算服务器、存储服务器和宽带资源等虚拟化，形成“云”，使得各种应用能够根据需要从“云”中获得所需的各种服务以及计算存储能力。在云平台中，基础架构对应用程序的支持相对于用户而言是透明的，用户可以随时随地通过端到云连接访问其部署在“云”中的应用程序。
——摘自本周实验室写的《教育部-英特尔信息技术专项科研基金-云计算应用平台及典型应用》项目申请书以及实验室熊润群博士的《下一代网络计算模式：云计算》一文。
《阿凡达》中有很多同云计算技术相关或相通之处：
1、片中曾说，整个潘多拉星球中每棵树之间都像是大脑中的神经元，彼此之间相互联系，从而形成一个很大的网络。而每一个纳威人都可以通过自己的神经末梢上传或下载相关的数据与信息。而云计算技术正是将很多服务器与存储资源通过网络相互联系在一起，想用户提供相应的计算能力与存储能力。从这一点看，潘多拉星球整个就是一个巨大的“云”
2、影片中整个星球有一万多棵神树，每棵神树又和十的十几二十次方个其他植物相连。这一万多棵树互相之间也部满连接。根据推算，该星球上一共有十的二十四次方个这样的节点，比人脑的神经元还要多。其中每一颗神树都保存了大量本部落的相关信息。这实际上可以看做是云环境中的一个个Data Center，通过分布式的存储策略，使得终端用户能够方便快捷地在各处获取相关的数据信息。因此潘多拉星球的各个“数据中心”之间，必然存在十分高效的数据同步、副本创建与更新策略以及相应的容错机制，以保证在某个数据中心“失效”(大树被推倒)时能够保证数据的完整及正确。
3、影片中每一个纳威人都可以通过辫子上的神经末梢同各种野兽以及大树之间进行交互，这种交互形式简洁、高效且接口统一，十分便于用户的访问。在云计算平台中，端到云的接入正体现这些特点。正因为有这样一些特点，才使得云计算的用户可以很方便的屏蔽底层的编程接口，提高效率。同时统一的接口也增强了可用性。这是云计算优于网格计算的重要特点。
4、影片最后描写人类发动袭击时，潘多拉星球各种野兽都帮忙进行对抗。这反映出Ewya不仅仅是一个神，而且是一个拥有强大计算能力与人工智能的超级云计算环境，这不是人类和一个原始种族的战争，而是一小撮傻大兵和拥有强大的计算能力、海量信息存储能力以及高效的协同能力的云计算平台之间的对抗。
5、影片中那个将地球人和阿凡达进行意识同步的仪器，可以看为是地球人接入到潘多拉这个云平台的接入方案之一，可以称为是一种端到云的解决方案，而且该方案采用了很成熟的无线技术，保证了数据链路不受物理距离和地形的影响。
总的来看，《阿凡达》中包含了许多云计算以及分布式计算相关的理念与问题。可以毫不夸张的说，现实生活中云计算的理念无处不在。正是由于其应用的普遍性，使得云计算成为工业界与学术界十分关注的新计算模式。作为下一代网络计算模式的发展方向，在不久的将来，一定会有越来越多的云计算系统投入使用，云计算系统也会不断地被完善，最终将彻底改变人类使用计算机和网络的方式。
P.S.为了增强时效性，目前仅进行了4点分析，欢迎大家进行补充。
文章来自: 
引用通告: 
Tags: 
相关日志:
回复
海天无影[2010-02-10 03:03 PM | 
]
