网络建设和保障支撑数亿人同上网课

  数据潮水般涌入,流量之大在世界互联网历史上前所未有

  

  重庆市南川区三泉镇马嘴村一户村民家的两个孩子获赠免费“助学流量”。汪新摄

  网络课堂上,跨越千山万水又汇聚于小小屏幕的几亿张面孔,见证了一场高效给力的网课保障战。

  几亿人同上网课的云淡风轻,背后是网络世界的波澜起伏。高效运转、清晰流畅的网络课堂,凸显了以宽带网络、移动通信网络、云计算、大数据等为代表的数字基础设施的底气,也反映了我国网络应用极其丰富、数字产业蓬勃发展的可喜成就。

  从网络基础设施落后到网民规模超过9亿,网络宽带像水、电一样随取随用,信息网络水平的不断提升,为有效助力疫情防控,满足在线上课这样的快速增长需求提供了坚实支撑。

  我国信息网络基础设施取得跨越式发展,得益于既能遵照通信技术的演进规律,又坚持了适度超前原则,在追赶世界先进的步伐中,敢于超前谋划布局。正是瞄准前沿敢于创新,我国5G发展取得积极进展,5G基站以每周新增1万多个的数量在增长,新一代通信技术和数字经济的融合在不断加深。

  随着5G、千兆光纤网络、数据中心等新基建的加快推进,数字技术和网络基础设施将进一步完善,数字鸿沟会不断缩小,数字化产业和产业数字化将持续发展,为促进高质量发展提供源源不断的动力。

  每天,海量数据的潮起潮落,映射着9亿多中国网民的在线作息规律。平时的数据流动井然有序,即使是“双11”、春节“红包雨”这种数亿人涌入的时刻,也经受住了海量访问的考验。

  然而,一场突如其来的疫情,带来了前所未有的巨大考验——全国大中小学校2.65亿在校生全面转向线上课程;在线教育用户规模达4.23亿,几乎一半网民使用在线教育。网课需求增长速度之快,时间之紧,流量峰值的难以预测,都属“中国互联网上头一遭”。

  “简直像打仗一样。”当数据潮水般涌入,前端的互联网应用扼守入口,后台的服务器集群严阵以待,通畅的通信网络保驾护航……一场网课保障战役迅速打响。

  

  在钉钉举办的产品体验会上,中小学生与钉钉教育技术团队交流。乔露琦摄

  怎么上好“开学第一课”?

  网课上,无数面孔、声音转化成庞大的数字比特流,浩浩荡荡经由网络涌向空中课堂。

  时间之紧让一切都发生了质变。

  在武汉,全市90万学生定于2月10日8时30分集体登录空中课堂。冲锋的时间确定,所有的工作从这个节点开始倒推:

  1月30日必须完成空中课堂的搭建,这距离湖北省发布延期开学公告仅隔7天时间,也是春节放假的7天;

  1月24日大年三十,武汉市教育局向各家互联网公司广撒英雄帖,紧急提出需求;

  1月25日大年初一,已经有技术团队开始商量项目方案……

  接到这一紧急任务,腾讯教育产品经理聂晓凯大年初三就从老家河北赶回广州,与同事们开始持续奋战。武汉那一头的技术团队,也正在为空中课堂的上线加班加点。筛选解决方案、进行技术调试、设计课程内容,还要设置直播授课、互动答疑、点播回看、作业、考试等多种功能模块……时间紧、任务重、上线急,技术人员在枯燥的“测试——改进——测试”中不断循环往复。

  1月30日,武汉空中课堂如期搭建完成。但等待团队的是更大的压力。在广州,聂晓凯和同事们连续几天没有睡过一个囫囵觉,为的是做好应对突发状况的准备。“每天都在调试。平台承接人数有可能超过90万人,甚至达到上百万,万一崩了怎么办?!”

  2月7日进行线上测压时,原本计划5万学生上线测试,却突然暴增到近10万。幸运的是,由于前期准备充分,平台经受住了流量压力。“扛住了!”看到测压结果,聂晓凯心底涌起喜悦:3天后的全武汉在线开课有保障了。

  与此同时,湖北省水果湖第一中学副校长罗林一直有个担忧:“要保证老师们在短时间内学会并顺利开课,这个平台的操作流程就不能复杂。”

  为了让老师们能极速开课,腾讯产品开发团队以最快的速度响应,不到48小时就重新开发出一套腾讯课堂极速版软件,陆续安装在了包括水果湖第一中学老师们在内的全国百万名老师的电脑上。老师们通过手机号注册,10秒就能搭建起专属的空中课堂;学生们在手机上收到链接后,1秒点击即可进入上课模式。

  “我们特意召集了两个班的学生和老师参与测试,声音清晰、画面不卡顿,PPT播放流畅,学生还可以举手发言,对话系统完好。”看到学习效果,罗林的心放了下来。

  2月10日早上7点,聂晓凯早早地坐在电脑前,眼睛紧盯着屏幕上的各种数据,严阵以待。

  8时30分,90万人从包括腾讯在内的4个不同直播端口登录武汉空中课堂。打开软件,无数面孔、声音转化成庞大的数字比特流,浩浩荡荡经由网络涌向空中课堂。空中课堂平台有条不紊地应答着每一个访问请求,从容而极速地吞吐着数据需求。学生们几乎感觉不到时间延迟,如同坐在课堂实时听讲。平台运行稳定,聂晓凯长舒了一口气,和同事们击掌庆祝。

  2月10日这一天,类似场景在全国各地同时上演:河南开封全市全学段12个年级的网络课堂直播间里,总观看人数累计超过200万;300多个城市的学校里,60万教师变身主播,通过钉钉直播为5000万学生上课……这种大规模的在线课堂教学,在中国互联网历史和教育史上都不曾有过先例。从平台搭建、网络课堂功能模块的设计,到师生的使用培训,一切都是从零开始。

  这是绝无仅有的体验。来自日本东京一家电视台的记者,在“作业帮直播课”平台观摩了一堂在线网课后大为惊叹。“课堂”上,老师随机点名,身处天南海北的学生们,无论是在大城市还是小县城,都实时反应、流畅作答。这让日本记者直呼“你们的支持能力怎么这么强!”

  这只是这场网课保障战的开始。

  

  中国移动重庆公司石柱分公司基站建设人员连夜抢工开通六塘乡基站。冉维摄

  怎样保持清晰流畅?

  大带宽的视频直播集中在一个时间点上突然发生,下课后流量又突然消失,对互联网基础设施是一个难以判断的压力负载。

  “宽带网络就是高速路,卡顿就像堵车。云服务器是远处的一个仓库。老师将文件传到云服务器上,学生再从云服务器那里取回来。”腾讯QQ产品总监夏志勇用物流比喻上网课:为了让整个过程通畅,高速路要够宽,路上的车要够快,仓库也要够大,能容得下百万人乃至千万人存东西、取东西。“我们这些应用App,相当于物流公司,开着很多货车把需求运来运去。”

  其实网课远远超出收发快递的简单概念。网课的通畅既包括了速度,也包括了高质量的视听效果。网速的快慢、画面的质量,都呈现在App这个“入口”。无论是直播课堂,还是线上交作业、答疑……这些过程都在瞬间完成,人们并不会感知这些数据在信息高速路上的流动,但可以从手机App直观感受到网速的快慢、直播的流畅与否。

  巨大的网课需求,让多个在线教育App的日活跃用户数达到千万以上,对开发这些App产品的互联网科技公司来说,挑战前所未有。

  春节过后,全国范围内不少老师开始自发使用QQ群功能来上网课。“网课直播的每日峰值有超过百万的开播量。”腾讯副总裁、QQ负责人梁柱说,如果算上作业等功能,QQ网课的整体覆盖学生人群有2000万到3000万的规模。

  “几千万老师和学生同时上课,并不在我们原先的技术架构和服务器储备的预算之内,纯粹是新增的。”梁柱说,大带宽的视频直播集中在一个时间点上突然发生,下课后流量又突然消失,对互联网基础设施是一个难以判断的压力负载。

  腾讯QQ技术负责人邱俊从后台实时曲线的变化中,注意到QQ的群文件功能需求在不断增加。他担心很快会“撑破”整个群的容量,于是马上和团队商量扩容的可行性,把每个QQ群的群文件容量,从2GB扩大为10GB。这个决策和修改的落地,5小时之内就得完成。

  最大的挑战,还是时间紧。QQ的版本更新节奏也随着用户的各种需求被调快。为了网课需要,QQ的新功能从想法提出到最终上线,更新版本只花了两周。

  “就是打仗的感觉。饿了就吃一点,困了就睡一会,醒了就马上投入工作。”邱俊说,网课带来的是工作量两三倍地增长,在高压下,每个人的战斗力都被激发出来,因为感觉自己在做一件特别有意义的事情。

  产品研发的过程中,技术人员甚至专门去收集喧嚣的公交站、雨水声等噪音进行人工智能分析处理,以实现智能消除环境声、键盘声,完美还原人声的目的。“这就是为什么能够实现最低80毫秒的超低延时,即便视频丢了70%的数据包,也不会花屏和卡顿。”夏志勇说,这些努力,就是为了让网课更加“真实”。

  “现在沉淀下来最合适的网课解决方案,我们当时根本不知道。情况突发,一切都是未知,只能备选很多种方案。”长期的技术积累、稳定的视音频能力和支持海量并发的带宽等技术底层能力,让钉钉教育产品经理安步和团队在有惊无险中完成了对直播网课的支持,但他们还需要以天为单位,去快速响应如潮水般涌来的各种功能需求。

  前一天老师提出没法在提交的作业照片上批改,安步和团队马上改进上线,第二天老师们就惊喜地发现,在手机、平板电脑和电脑上,都可以直接圈画、批改作业了。为了这个功能,技术人员至少优化了50次。

  疫情防控期间,中国在线教学规模之大、范围之广、程度之深,在全球范围内都无与伦比。仅高等教育领域,截至4月初,全国就有1454所在线开学的普通高校,95万余名教师开发94.2万门、713.3万门次在线课程,在线学习的学生达11.8亿人次。这其中,在线课程平台和技术平台功不可没,为停课不停教、停课不停学提供了有力保证。钉钉和腾讯会议等多款中国App,也因此被联合国有关机构推荐给全球的学生使用。

  如何化解网络“洪峰”?

  如果把云计算看作是一个网络仓库的话,这是一个容量大、智能化的仓库,能够瞬间让排队的几千万人顺利取到自己的包裹。

  从春节期间开始,安步清晰看到,钉钉后台的系统峰值流量不断增长,最高甚至暴增百倍,很大一部分源于在线网课的“贡献”。

  虽然顶住了2月10日首个网课流量高峰,安步还无法高枕无忧。他注意到那天其实已触到了当时的系统峰值,“看到带宽使用量节节攀升,我们心里特别紧张。”

  安步意识到,2月10日只是部分高中和初中的使用,等到小学加入进来,预计2月17日会带来更大的访问量。

  带宽用来衡量一个平台能够承受的最高网络流量。师生课堂互动、“连麦”实时问答之间,在网络上都会掀起一阵阵流量“洪峰”。能不能抵御和化解这些“洪峰”,云计算服务发挥着关键作用。

  云计算既是高性能硬件搭建的数据中心,也可以看作是性能强大的网络中枢。它释放出强大的计算能力和存储资源,像水和电一样源源不断地提供给钉钉这样的前端应用,使其有足够能力支撑用户的需求。如果把云计算看作是一个网络仓库的话,这是一个容量大、智能化的仓库,能够瞬间让排队的几千万人顺利取到自己的包裹。

  流量到底会多高?安步和团队难以准确预判。“如果全国60%到70%的老师、学生甚至家长,在同一时刻登录钉钉,这是一个什么量级?”安步和团队迅速去申请带宽,并寻求阿里云的帮助。

  那段时间,每逢周六日是安步和团队最忙碌的时候。钉钉上不断有新的学校开设网课,为了周一开课,他们会在前一个周末进行测试,安步他们则要随时监测并调整带宽的配比。

  “大部分学校使用直播上课,一般都是早上8点集中开始,同一时间巨大流量涌来,我们的压力真是非常大。”安步说。

  2月17日早上8点,钉钉后台流量突然瞬间上涨,不断飙升,60%、70%、80%……时间一分一秒过去,到9点半,还没突破100%。安步心里一下子就放宽了。

  实际上,扩容的需求对云服务来说,并非像拧开水龙头一样简单,而是有很高技术含量。为了不影响白天的网课效果,往往需要技术人员和时间赛跑,即便是千万人的访问需求,都是在凌晨几小时内,完成服务器扩容和镜像部署。为迎接史无前例的流量“洪峰”,保障网络授课,钉钉在阿里云上连续扩容10余万台云服务器,创下了短短2小时内新增超过1万台云服务器的快速扩容新纪录。

  峰值状态下,钉钉支持的流量达到常态时的百倍,是中国所有视频、直播流量总和的5—10倍。正是这样的能力,让钉钉能够累计支持全国1.3亿学生在线上课。

  “带宽需求在很短时间内就到了T(1T相当于1000G)级‘水位’。但扩容不可预期,没法精准地知道明天的增长到底是5倍还是10倍,我们只有更大胆地去堆资源。”腾讯云运维中心和客户服务部门负责人徐勇州带领团队,用三天时间完成了平常需要三四个月的数T带宽扩容。

  这种量级的线上流量洪峰和快速扩容,在全世界也属首次。值得一提的是,10万台服务器、数T带宽,成本折算下来达上亿元,但为了保障网课顺利进行,这些资源都被不计成本地投入使用。

  怎样填平网络洼地?

  在海拔1400米的山上,建成可容纳2000多人上网的应急方舱基站,手机4G信号噌一下跳到满格,就像从羊肠小道开上了高速路一样通畅无比。

  没有网络,就没有网课。目前我国行政村的光纤和4G的覆盖率都已超过了98%,农村及偏远地区学校网络接入条件不断改善,实现了全球领先的农村网络覆盖。但疫情的突发,在线上课的刚需,仍然让偏远农村地区的少数网络洼地显露出来。所幸,强大的网络基础设施建设能力迅速填补了这些缺口。

  3月2日下午4点半,重庆移动石柱分公司接到石柱土家族自治县六塘学校打来的紧急求助电话:当天是重庆市中小学生全面实施国家课程线上教学的第一天,但初二学生马孝英等几个学生,家住在七曜山脉深处海拔1400米的山上,没法上网课,孩子们都急得哭了。

  “山里孩子学习的劲头这么足,我们是既感动又心疼。”石柱分公司迅速行动起来,当晚8点,技术人员紧急会商,在地图中明确了当地山村周围基站的分布情况,讨论出初步的建设预案。

  3月3日一早7点多,石柱分公司建设维护部的向世清、冉维等先头队员在盘山路上开行了2个小时,9点半左右到达现场实地勘察。看到孩子们为了上网课,在半山腰搭起临时雨棚,棚子里外的泥地上踩的都是脚印子,他们鼻子一酸,“还在倒春寒,山上阴冷潮湿,穿着羽绒服都觉得冷。这种环境下还坚持学习,孩子们做得已经很不错了,我们一定想办法帮他们。”

  向世清发现,施工的挑战不小。这里地处山坳,位置偏僻,坡陡林密,建设基站有很大难度。距离最近的基站有4公里,山体阻挡是信号过不来的主要原因。改造原有基站不大可能,新建基站又怕耽误学生们上网课。现场最终敲定,安装一个可容纳2000多人上网的应急方舱基站。为了寻找最合适的基站架设点,向世清等人又步行2个多小时山路,最终选定建站位置。

  当天下午,重达1.5吨的应急方舱基站通过皮卡车运送到山上公路边,再由多人协力运到安装地点。短短两天内,16人的安装队伍钻进密林,布放线缆累计超过3公里。他们分工明确,接入电源、安装无线设备、制作基站数据、调试开通……山上温度低,冷了饿了,就啃一口面包或方便面缓一缓。天亮开工、天黑收工,48小时内应急基站顺利投入使用,覆盖范围达到2公里左右。

  基站开通,引来强劲的网络信号,马孝英的手机4G信号噌一下跳到满格,网速体验,就像从羊肠小道开上了高速路一样通畅无比。

  在雪山环绕的西藏昌都卡若区埃西乡波格村,中国移动西藏公司昌都分公司派出的6名网络建设人员,通过肩扛、手抬的方式,将紧急调运的基站设备和光缆徒步运至施工现场,冒着零下20多摄氏度的低温连夜开工,迅速建成开通了一座新基站。江苏食品药品学院大一学生斯朗巴珍,再不用每天带着手机、爬到雪山上去上网课了。在湖北恩施巴东县,湖北恩施联通巴东县分公司建维中心团队的一支小分队只用了4个小时,就把稳定的网络信号送到了2个学生家里,让他们不用在废旧草棚里找网络信号……五湖四海的不懈努力,只为在线课堂流畅运行,而这背后都是同样的念头:“想尽一切办法接通网络,不能因为网络的问题耽误孩子们的学业。”

  “面对网络爆炸式的高负荷,我们的网上视频一直是高清视频,而且还很流畅。”工业和信息化部新闻发言人、信息通信发展司司长闻库说。

  在疫情防控中,我国互联网流量较去年年底相比增加了50%,但流量的激增并没有导致网络堵塞。监测显示,全国“停课不停学”在线教育平台下载速率平均是97.7兆,各省区市内平台下载速率平均是89.2兆,保持着良好的网速。全球范围内,为缓解视频需求量暴增带来的网络压力,不少地区采取了降低视频画质的措施。如美国付费电视网络奈飞,为优先保障用户的网络通畅,降低了其在相关服务区域的视频画质,一些流媒体视频公司也将默认视频清晰度从高清变成标清,以减少对网络带宽的流量压力。

  “疫情防控期间数亿人远程办公、线上上课,网络流量暴增,我国网络的表现非常稳定,这得益于中国网络近年来发生的翻天覆地的变化。”闻库说,我国拥有世界上规模最大的光纤宽带网络和4G网络,正是这几年跨越式的网络发展,充分保障了上亿学生“停课不停学”。(记者余建斌 王政 刘诗瑶)(2020年06月22日)