创新研发中心夺得数字电网开发者大会算法比赛头名
点击量:发布时间:2021-01-20 17:09
2020年12月,海颐软件在中国南方电网有限责任公司举办的“数字电网开发者大会”算法类比赛“电费复核计算性能优化”中获得了初赛第一、决赛第一的好成绩,展现了公司在电费复核业务与大数据技术方面的优势。
电费复核工作是电费抄核收工作中的一个重要环节,同时也是确保电费数据正确有效的必要环节。海颐软件在电力营销与大数据领域深耕多年,为比赛的最终结果奠定了良好的基础。
该题目有30多支参赛队伍,既包括拓邦、卓维、泰豪在内的多个电力领域的老牌“对手”,也包括许多由行业专家组成的高校队伍,可谓高手云集。
信科海颐联合团队是由海颐创新研发中心与广东电力信息科技有限公司(原广东电网信息中心)联合组队,由信科负责题目解读、以及现场答辩,海颐负责整体的方案编写、技术实现和性能调优。海颐团队部分由创新研发中心的尹书伟带队,张威、聂斌、李红瑛、王昌勇、班喆等多位成员参与。比赛过程中可谓跌宕起伏、一波三折。团队成员默契配合,勇于担当,攻坚克难,经历了连续一个月的高强度比赛,以高水准完成了比赛任务。
一、确定目标,初战告捷
10月20日,公司了解到南网数字化部和数研院共同举办“数字电网开发者大会”。其中算法类任务“电费复核计算性能优化”正是海颐的业务范围。公司领导要求积极参赛,勇闯佳绩,充分展现海颐软件在电费相关领域的专业性和技术实力!
基于对题目的理解,创新研发中心从大数据团队和电费算法团队抽调了多名技术骨干,并取得了电力营销产品部和咨询服务部的大力支持。正当方案差不多完成时,广电信科主动找到海颐,想要联合组队。随后两家公司组成了“信科海颐联队”一起参赛。为了确保出线,方案初稿完成后,组织了内部专家对方案进行严格评审。专家的各种追问,各种怀疑,如雪花般飘散,令人无法躲闪,直至深夜24点。在专家团一轮轮的挑战下,团队对方案进行了全方位的修改和补充。总算到了11月2号中午,最终版方案得以提交。
11月10号,初选告捷,方案比拼在所有参赛队中排名第一!
该题目有30多支参赛队伍,既包括拓邦、卓维、泰豪在内的多个电力领域的老牌“对手”,也包括许多由行业专家组成的高校队伍,可谓高手云集。
信科海颐联合团队是由海颐创新研发中心与广东电力信息科技有限公司(原广东电网信息中心)联合组队,由信科负责题目解读、以及现场答辩,海颐负责整体的方案编写、技术实现和性能调优。海颐团队部分由创新研发中心的尹书伟带队,张威、聂斌、李红瑛、王昌勇、班喆等多位成员参与。比赛过程中可谓跌宕起伏、一波三折。团队成员默契配合,勇于担当,攻坚克难,经历了连续一个月的高强度比赛,以高水准完成了比赛任务。
一、确定目标,初战告捷
10月20日,公司了解到南网数字化部和数研院共同举办“数字电网开发者大会”。其中算法类任务“电费复核计算性能优化”正是海颐的业务范围。公司领导要求积极参赛,勇闯佳绩,充分展现海颐软件在电费相关领域的专业性和技术实力!
基于对题目的理解,创新研发中心从大数据团队和电费算法团队抽调了多名技术骨干,并取得了电力营销产品部和咨询服务部的大力支持。正当方案差不多完成时,广电信科主动找到海颐,想要联合组队。随后两家公司组成了“信科海颐联队”一起参赛。为了确保出线,方案初稿完成后,组织了内部专家对方案进行严格评审。专家的各种追问,各种怀疑,如雪花般飘散,令人无法躲闪,直至深夜24点。在专家团一轮轮的挑战下,团队对方案进行了全方位的修改和补充。总算到了11月2号中午,最终版方案得以提交。
11月10号,初选告捷,方案比拼在所有参赛队中排名第一!
二、不畏权威,勇拿一血
初赛成绩第一,团队信心倍增,热情高涨。正准备一鼓作气拿下比赛时,发现事情并没有想象的那么简单。本来是说12点出复赛题目,结果等了两个小时题目才给出——是对包含客户档案、计量点电量等在内的27张业务表,单表10亿多条记录,1.3TB的数据进行142个核查规则的核查计算,要求100%的准确性。
团队在技术栈与比赛环境陌生的情况下,抓紧学习与实验,从技术和业务两个角度着手,第一时间完成了程序编写写与运行测试工作,并试着提交了第一次结果——0分。系统不会提示哪里错了,只会提示核查结果是多了还是少了,而提交次数没有限制。于是团队用二分法确定了核查结果的条数,熬了个通宵把所有规则过了一遍,依然觉得正确答案的数量太少了。此时是11月17号的凌晨4点,距离比赛结束还有3天时间。
通过和组委会交流,组委会答应帮忙看一下结果条数,答复说总数量没有问题。可是我们又经过了一天对结果答案的反复排查,“肯定是答案有问题”。最终经过几轮沟通,组委会认可了题目中的错误并进行了修复。几小时后,我们顺利得拿到了一血,在全部参赛队伍中第一个准确跑出了所有的异常数据。
初赛成绩第一,团队信心倍增,热情高涨。正准备一鼓作气拿下比赛时,发现事情并没有想象的那么简单。本来是说12点出复赛题目,结果等了两个小时题目才给出——是对包含客户档案、计量点电量等在内的27张业务表,单表10亿多条记录,1.3TB的数据进行142个核查规则的核查计算,要求100%的准确性。
团队在技术栈与比赛环境陌生的情况下,抓紧学习与实验,从技术和业务两个角度着手,第一时间完成了程序编写写与运行测试工作,并试着提交了第一次结果——0分。系统不会提示哪里错了,只会提示核查结果是多了还是少了,而提交次数没有限制。于是团队用二分法确定了核查结果的条数,熬了个通宵把所有规则过了一遍,依然觉得正确答案的数量太少了。此时是11月17号的凌晨4点,距离比赛结束还有3天时间。
通过和组委会交流,组委会答应帮忙看一下结果条数,答复说总数量没有问题。可是我们又经过了一天对结果答案的反复排查,“肯定是答案有问题”。最终经过几轮沟通,组委会认可了题目中的错误并进行了修复。几小时后,我们顺利得拿到了一血,在全部参赛队伍中第一个准确跑出了所有的异常数据。
三、毫不松懈,精益求精
虽然率先拿到了分数,但是团队并不敢松懈。在我们看来,真正的比赛才刚刚开始,既是跟参赛队伍的竞争,更是跟我们自己的竞争——我们要在保证准确性的前提下挖掘出性能极限!
团队利用对计算引擎的充分了解,对异常规则涉及到的公用结构进行了抽象与统一,对代码进行了重构,消除了对资源的重复消耗,计算延迟从首轮的2小时缩短为1小时,在随后的4轮迭代中,又通过对完整的142个规则逐个调优以及分布式计算引擎的参数调优,利用复核业务的长期深耕,逐批优化,最终将运行时间优化至37分钟。
比赛很快就来到了最后一天的晚上,0点截止提交,此时另外两支队伍也提交了正确答案,我们也针对性能瓶颈发起了最后的总攻。我们不但要优化算法,还要保证算法优化前后跑出数据的准确性。比赛结束的当晚,有两个算法虽然性能有所提升,但准确性总也对不上,团队中有些人都想算了,这俩不优化,退回原来性能稍慢的方案吧。聂斌和李红瑛两位同事,对着这两个SQL反复修改测试,坚决要抢下几分钟的优势,时间一分一秒地过着,终于在比赛提交结束前的20分钟,跑出了正确的结果,正确结果跑出来的那一刹那,团队的每个成员都在欢呼。
最终,结果不负努力,我们取得了第一名的成绩!
四、及时复盘,蓄势再发
比赛过程中团队充分发挥了业务和技术的双重优势,以及海颐人攻坚克难的比赛精神,在短时间内快速学习掌握了主办方指定的技术组件。团队在保证正确性的情况下对结果精益求精,不断地进行性能优化,直到比赛的最后一刻,保证了比赛成绩一直领先。期间为了解决比赛中遇到的种种问题,团队争分夺秒,经常加班到下半夜,充分体现了海颐人不畏艰难,努力奋斗的拼搏精神。
团队在赛后也进行了复盘,对当前的核查规则进行了梳理与分析,并对比赛过程中用到的方法与架构进行了优化,为核查性能优化技术的实用落地做好了储备。比赛仅仅是核查业务数智化的一个开始,团队会以此为契机更加精进在该领域的研究与项目实践,保持团队战斗力,突破更多的业务与技术难题,努力实现公司的战略发展目标。
虽然率先拿到了分数,但是团队并不敢松懈。在我们看来,真正的比赛才刚刚开始,既是跟参赛队伍的竞争,更是跟我们自己的竞争——我们要在保证准确性的前提下挖掘出性能极限!
团队利用对计算引擎的充分了解,对异常规则涉及到的公用结构进行了抽象与统一,对代码进行了重构,消除了对资源的重复消耗,计算延迟从首轮的2小时缩短为1小时,在随后的4轮迭代中,又通过对完整的142个规则逐个调优以及分布式计算引擎的参数调优,利用复核业务的长期深耕,逐批优化,最终将运行时间优化至37分钟。
比赛很快就来到了最后一天的晚上,0点截止提交,此时另外两支队伍也提交了正确答案,我们也针对性能瓶颈发起了最后的总攻。我们不但要优化算法,还要保证算法优化前后跑出数据的准确性。比赛结束的当晚,有两个算法虽然性能有所提升,但准确性总也对不上,团队中有些人都想算了,这俩不优化,退回原来性能稍慢的方案吧。聂斌和李红瑛两位同事,对着这两个SQL反复修改测试,坚决要抢下几分钟的优势,时间一分一秒地过着,终于在比赛提交结束前的20分钟,跑出了正确的结果,正确结果跑出来的那一刹那,团队的每个成员都在欢呼。
最终,结果不负努力,我们取得了第一名的成绩!
四、及时复盘,蓄势再发
比赛过程中团队充分发挥了业务和技术的双重优势,以及海颐人攻坚克难的比赛精神,在短时间内快速学习掌握了主办方指定的技术组件。团队在保证正确性的情况下对结果精益求精,不断地进行性能优化,直到比赛的最后一刻,保证了比赛成绩一直领先。期间为了解决比赛中遇到的种种问题,团队争分夺秒,经常加班到下半夜,充分体现了海颐人不畏艰难,努力奋斗的拼搏精神。
团队在赛后也进行了复盘,对当前的核查规则进行了梳理与分析,并对比赛过程中用到的方法与架构进行了优化,为核查性能优化技术的实用落地做好了储备。比赛仅仅是核查业务数智化的一个开始,团队会以此为契机更加精进在该领域的研究与项目实践,保持团队战斗力,突破更多的业务与技术难题,努力实现公司的战略发展目标。
版权所有:2019©烟台海颐软件股份有限公司 工信部备案:鲁ICP备09096067号
鲁公网安备:37069302000219号