-
大数据开发:剖析Hadoop和Spark的Shuffle过程差异
所属栏目:[教程] 日期:2019-04-23 热度:116
一、前言 对于基于MapReduce编程范式的分布式计算来说,本质上而言,就是在计算数据的交、并、差、聚合、排序等过程。而分布式计算分而治之的思想,让每个节点只计算部分数据,也就是只处理一个分片,那么要想求得某个key对应的全量数据,那就必须把相同ke[详细]
-
你应该知道的HBase基础,都在这儿了
所属栏目:[教程] 日期:2019-04-23 热度:106
阿里妹导读:2006 年10 月Google 发布三架马车之一的《Bigtable:A Distributed Storage System for Strctured Data》论文之后,Powerset 公司就宣布 HBase 在 Hadoop 项目中成立,作为子项目存在。后来,在2010 年左右逐渐成为 Apache 旗下的一个顶级项目[详细]
-
锐捷亮相智慧机场建设发展高峰会!为机场插上智慧的翅膀
所属栏目:[教程] 日期:2019-04-23 热度:155
4月17日~19日,第四届全国民航互联网+智慧机场建设发展高峰会在天府之国成都举行。在这个展现民航相关信息化产业的最新信息技术的重磅舞台,锐捷网络作为中国数据通信解决方案提供商应邀亮相,带来了业界领先的场景化智慧机场解决方案,全面展示了锐捷助[详细]
-
驱动智能时代产业变革,华为智能计算2019蓄力出击!
所属栏目:[教程] 日期:2019-04-23 热度:54
【51CTO.com原创稿件】记者见到华为智能计算业务部市场营销总监师斌的第一个照面,就忍不住先八卦了一个问题:作为一个刚刚成立才4个月的部门,华为智能计算的活动是不是安排得太密集了些? 记者所言的密集并非凭空想象,华为智能计算的活动之多的确当得起[详细]
-
看过这篇文章,你会后悔没来过华为生态伙伴大会2019的展区
所属栏目:[教程] 日期:2019-04-22 热度:144
【51CTO.com原创稿件】看过这篇文章,你会后悔没来过华为生态伙伴大会2019的展区。为什么这么说?看完你就明白了。 3月22日,华为中国生态伙伴大会2019在福州海峡国际会展中心成功召开。本届大会以因聚而生 智能进化为主题,意即在数字化转型不断深化的智能[详细]
-
如何培养出生态协同需要的人才?华为人才生态表示AI人才是重点培养对象
所属栏目:[教程] 日期:2019-04-22 热度:115
【51CTO.com原创稿件】3月22日,华为中国生态伙伴大会2019进入第二天日程。上午10点整,华为企业BG中国区副总裁、华为生态大学校长杨文池带来整合资源运营生态,共赢智能时代的重磅主题演讲。杨文池指出,我们的战略已经从平台+生态,演进为平台+AI+生态,[详细]
-
足不出户逛展区,带你体验超乎想象的华为5G技术
所属栏目:[教程] 日期:2019-04-22 热度:108
【51CTO.com原创稿件】前不久,华为中国生态伙伴大会2019在福州成功举办。笔者借参会之机去展区转了转,深度体验了各种便捷又周到的智慧应用。步入11000平米的展厅,笔者不禁感叹,不愧是有近两万名嘉宾参与的大会,每个专区的人都不少,尤其5G展区是这样[详细]
-
一份十分完整的CPU 100%排查优化指南
所属栏目:[教程] 日期:2019-04-22 热度:168
最近又收到了运维报警:表示有些服务器负载非常高,让我们定位问题。 还真是想什么来什么,前些天还故意把某些服务器的负载提高(没错,老板让我写个 Bug!),不过还好是不同的环境,互相没有影响。 定位问题 拿到问题后首先去服务器上看了看,发现运行的只[详细]
-
从技术演变的角度看互联网后台架构
所属栏目:[教程] 日期:2019-04-20 热度:165
这是去年在部门内部做的一个面向后台开发新同学的课程,因为其他BG一些同学要求分享,所以发一下。 其实内容都是些常见开源组件的high level描述,比如flask, express框架,中间件的演化,micro service的概念,一些对nosql/column based db的概念介绍,do[详细]
-
程序员如何编写优雅的Dockerfile
所属栏目:[教程] 日期:2019-04-20 热度:132
Kubernetes要从容器化开始,而容器又需要从Dockerfile开始,本文将介绍如何写出一个优雅的Dockerfile文件。 文章主要内容包括: Docker容器 Dockerfile 使用多阶构建 感谢公司提供大量机器资源及时间让我们可以实践,感谢在此专题上不断实践的部分项目及人[详细]
-
深入浅出百亿请求高可用Redis(codis)分布式集群揭秘
所属栏目:[教程] 日期:2019-04-20 热度:125
一、背景 随着直播元年开启,越来越多的直播产品如春笋般出现,在拉动营收的过程中,产品竭尽全力思考着各种活动来刺激用户的消费欲望,而这类活动的基础形式就是榜单,在2016年我们基于cmem及扫描流水表的方式来实现榜单排名,2017开始,我们对原有系统进[详细]
-
一文带你了解什么是API和SDK
所属栏目:[教程] 日期:2019-04-20 热度:51
随着软件规模的日益庞大,开发者常常需要把复杂的系统划分成小的组成部分,这个时候,编程接口的设计就显得尤为重要。良好的接口设计可以降低系统各部分的相互依赖,提高组成单元的内聚性,降低组成单元间的耦合程度,从而提高系统的维护性和扩展性。 而对[详细]
-
一篇文章看懂 Spark RDD
所属栏目:[教程] 日期:2019-04-19 热度:73
1 简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。它产生于 UC Berkeley AMP Lab,继承了 MapReduce 的优点,但是不同于 MapReduce 的是,Spark 可以将结果保存在内存中,一直迭代计算下去,除非遇到 shuffle 。因此 Spark 能更好的[详细]
-
大数据告诉你,996戳中了谁又戳痛了谁?
所属栏目:[教程] 日期:2019-04-19 热度:84
工作996,生病ICU,一句原本程序员之间的自嘲,在最近一个月却突然引起全社会的关注。先来看看近一个月996工作制在网络上的热度走势。 996工作制引发社会关注 数据来源于新华睿思数据云图分析平台 工作996,生病ICU。996工作制讨论热度的爆发,源于程序员3[详细]
-
华为发布以网络自动驾驶为目标的下一代运维构架,预计为运营商节省运维成本25%
所属栏目:[教程] 日期:2019-04-19 热度:91
2019年4月17日,HAS2019,华为发布了以自动驾驶为目标的下一代网络构架。预计在10年之内电信运营商网络将迈入L5自动驾驶阶段,为运营商节省运维成本25%,华为SoftCOM AI解决方案总裁韩雨发先生说。 近几年来,网络走向自动驾驶逐步成为整个电信行业的共识[详细]
-
华为发布自动驾驶电信网络SoftCOM通信智能白皮书
所属栏目:[教程] 日期:2019-04-19 热度:57
[中国,深圳,2019年04月17日] 今日,在深圳举办的华为2019年分析师大会期间,华为正式发布自动驾驶电信网络SoftCOM通信智能白皮书。诠释自动驾驶电信网络的战略演进,架构创新和分级理念,展示电信网络AI方面的平台价值,场景探索和案例落地,为AI在自动[详细]
-
华为5G Power使能绿色全联接世界
所属栏目:[教程] 日期:2019-04-19 热度:70
[深圳,中国,4月17日] 在2019华为全球分析师大会上,华为提出5G Power使能绿色全联接世界,详细分析了5G业务对能源的需求和挑战,据此遵从极简、智能和高效三大理念 ,华为以业界首个5G Power系列解决方案实现了通信电源从功能机向智能机的跨代转型。 为[详细]
-
Akamai在2019 NAB Show上重点呈现边缘创新
所属栏目:[教程] 日期:2019-04-19 热度:167
负责提供安全数字化体验的智能边缘平台阿卡迈技术公司(Akamai Technologies, Inc.,以下简称:Akamai)(NASDAQ:AKAM)在美国拉斯维加斯会展中心举行的2019年NAB Show上,突出展示了旨在帮助广播公司提供最高质量和最安全的在线流媒体体验的多项创新和举措。[详细]
-
走进IPv6技术的第三方认证
所属栏目:[教程] 日期:2019-04-19 热度:93
IPv6认证对实现IPv6技术的产品,网络和技术人员进行考核,目的是规范IPv6行业的发展,改善IPv6技术的水平,树立典型,鼓励大家效仿。 在每个技术领域都有比较专业的第三方中立机构,对这些技术应用水平做评估,以便人们对其技术的实际能力有所掌握。既然要[详细]
-
浅谈TCP拥塞控制算法
所属栏目:[教程] 日期:2019-04-19 热度:187
最近花了些时间在学习TCP/IP协议上,首要原因是由于本人长期以来对TCP/IP的认识就只限于三次握手四次分手上,所以希望深入了解一下。再者,TCP/IP和Linux系统层级的很多设计都可以用于中间件系统架构上,比如说TCP 拥塞控制算法也可以用在以响应时间来限流[详细]
-
iOS常用调试方法:断点调试
所属栏目:[教程] 日期:2019-04-19 热度:119
奇技指南 在iOS项目开发过程中,常用到静态分析(Analyze)、断点(BreakPoint)和控制台(Console)进行代码调试。本篇文章介绍Xcode常用调试方法之断点调试。 一、简介 Xcode的断点功能是iOS开发者的常用功能。在代码编辑区内的左边栏上点击一下即可创建一个断[详细]
-
大规模集群下的Hadoop NameNode
所属栏目:[教程] 日期:2019-04-19 热度:96
本文我们来看看,如果大量客户端对NameNode发起高并发(比如每秒上千次)访问来修改元数据,此时NameNode该如何抗住? 一、问题源起 我们先来分析一下,高并发请求NameNode会遇到什么样的问题。 大家现在都知道了,每次请求NameNode修改一条元数据(比如说申请[详细]
-
大数据生态系统入门必看:Pig、Hive、Hadoop、Storm等白话诠释
所属栏目:[教程] 日期:2019-04-19 热度:135
问题导读 大数据该如何存储到硬盘上? 存储数据后,该考虑如何处理数据 什么是Map?什么是Reduce? Hive、Pig、Storm技术是如何产生的? 大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把[详细]
-
大数据分析建模及其应用建议
所属栏目:[教程] 日期:2019-04-19 热度:138
在数字经济时代,互联网、智能设备和其他形式的信息技术的爆炸性增长使得数据以同样令人印象深刻的速度增长,企业经营的各个阶段都可以被记录下来,产品销售的各个环节也被记录下来,客户的消费行为和网上行为都被采集下来。数据已成为一种重要的生产要素[详细]
-
5G来了,但你要付出这些代价! - 网络·安全技术周刊第389期
所属栏目:[教程] 日期:2019-04-19 热度:68
【责任编辑:蓝雨泪 TEL:(010)68476606】 点赞 0[详细]