-
浅析网易大数据平台下的数据质量
所属栏目:[资讯] 日期:2021-10-31 热度:154
大数据平台的核心理念是构建于业务之上,用数据为业务创造价值。大数据平台的搭建之初,优先满足业务的使用需求,数据质量往往是被忽视的一环。但随着业务的逐渐稳定,数据质量越来越被人们所重视。 千里之堤,溃于蚁穴,糟糕的数据质量往往就会带来低效的数[详细]
-
企业2022年数字营销战略必须包含的五个数据点
所属栏目:[资讯] 日期:2021-10-31 热度:190
企业必须关注重要的数据点!数字营销基于直觉的日子已经一去不复返了。很多人知道数据对于成功的战略至关重要。但困难的是知道要关注哪些数据点如何将信号与噪声分开。 如今,市场营销的很多内容都是可以量化的,因此很容易在分析错误数据时迷失方向并浪费大[详细]
-
Go 程序进行时数据统计的可视化工具 Statsviz
所属栏目:[资讯] 日期:2021-10-31 热度:182
今天跟大家介绍一款实时可视化 Go 程序运行时数据统计的工具 statsviz https://github.com/arl/statsviz 它的图形化展现对于我们了解 Go 程序的 GC 行为,以及内存开销等很有用! 使用也很简单: 1. go get github.com/arl/statsviz 2. 在你的 http.ServeMux[详细]
-
Sentry 监控之Discover 大数据查询解析引擎
所属栏目:[资讯] 日期:2021-10-31 热度:178
目录 * Discover 查询 * 预置查询 * 已保存查询 * 构建新查询 * 搜索查询 * 排序查询 * 编辑查询 * 共享查询 * 删除查询 * 查询结果 * 事件详情 * 查询生成器 * 按全局选择标题过滤 * 按搜索条件过滤 * 语法 * Tag Summary 过滤 * 按交互式图表过滤 * 显示选[详细]
-
大数据跨境流动是必然走向
所属栏目:[资讯] 日期:2021-10-31 热度:186
近日,习近平总书记向可持续发展大数据国际研究中心成立大会暨2021年可持续发展大数据国际论坛致贺信并指出,设立可持续发展大数据国际研究中心是他在第75届联合国大会上宣布的支持落实联合国2030年可持续发展议程的重要举措。他希望各方充分利用可持续发展[详细]
-
针对各行业的八个数据驱动的内容营销技能
所属栏目:[资讯] 日期:2021-10-31 热度:180
事实表明,大数据为营销领域带来了一些显著的变化,并且在在线内容营销方面尤其具有影响力。 许多营销人员已经使用人工智能和数据分析来对各种市场活动进行更明智的洞察。数据分析工具对按点击付费(PPC)营销、媒体购买以及其他形式的付费流量特别有用。大数[详细]
-
可算有人把 Hadoop 生态的核心讲明白了!
所属栏目:[资讯] 日期:2021-10-31 热度:70
Hadoop是一个由Apache基金会开发的分布式系统基础架构。开发人员可以在不了解分布式底层细节的情况下开发分布式程序,充分利用集群的威力进行高速并行运算以及海量数据的分布式存储。Hadoop大数据技术架构如图1所示。 图1 Hadoop大数据技术架构 然而,Hadoop[详细]
-
HDFS 底层交换原理,看这篇就够了
所属栏目:[资讯] 日期:2021-10-31 热度:51
HDFS全称是 Hadoop Distribute File System,是 Hadoop最重要的组件之一,也被称为分步式存储之王。本文主要从 HDFS 高可用架构组成、HDFS 读写流程、如何保证可用性以及高频面试题出发,提高大家对 HDFS 的认识,掌握一些高频的 HDFS 面试题。本篇文章概览[详细]
-
HadoopSparkHive究竟是什么做算法要不要学?
所属栏目:[资讯] 日期:2021-10-31 热度:174
最近我发现,很多萌新说着想要做算法工程师,但是却对这个岗位的要求以及工作内容一无所知。以为学一个Python,再学一些机器学习、深度学习的模型就可以胜任了。工作就是用Python不停地写模型。 显然,这样的想法是有问题的,如果真这么干,即使通过了面试成[详细]
-
Flink执行流程和源码分析
所属栏目:[资讯] 日期:2021-10-31 热度:62
作业管理器(JobManager) (1) 控制一个应用程序执行的主进程,也就是说,每个应用程序 都会被一个不同的Jobmanager所控制执行 (2) Jobmanager会先接收到要执行的应用程序,这个应用程序会包括:作业图( Job Graph)、逻辑数据流图( ogical dataflow graph)和打[详细]
-
数据安全:算法的限制性
所属栏目:[资讯] 日期:2021-10-31 热度:54
大数据时代,网络上的内容呈现出爆炸式的增长趋势,如何从纷繁复杂的网络内容中挑选出自己需要的信息,成为诸多互联网用户的烦恼。起初,搜索引擎的出现缓解了这种问题。但是,搜索引擎往往需要用户知道自己想要获取哪方面的内容,才能通过搜索寻找目标。例[详细]
-
数仓 | Kimball的维度建模out了吗?
所属栏目:[资讯] 日期:2021-10-31 热度:104
在KimBall的维度建模中,必须使用代理键作为每个维表的主键,用于处理缓慢变化维。 这个问题对于初学数仓维度建模的人而言,很容易陷入Kimball提出的代理键的漩涡之中,以至于把时间都浪费了。其实代理键在大数据仓库环境下显得很不合时宜,并且很难维护。在[详细]
-
大数据制止网络安全威胁的5种可行方法
所属栏目:[资讯] 日期:2021-10-31 热度:200
大数据是一门新科学,数据生产率如今正在以惊人的速度发展。全球正在产生数量惊人的数据,而且随着物联网的发展,这一增长速度正在加快。调查表明,全球产生的数据90%都是在过去两年中产生的。此外,根据一些调研机构的预测,预计到2025年,全球将会产生200Z[详细]
-
Python中三个不常见但是很有用的数据科学库
所属栏目:[资讯] 日期:2021-10-31 热度:90
如果你过去一直在构建一些有监督的机器学习模型,你就会知道目标变量中的类别不平衡可能是一个大问题。这是因为在少数类中没有足够的例子来让算法学习模式。 一个解决方案是创建一些合成样本,通过使用例如SMOTE(合成少数群体过采样技术)来增加少数群体类的[详细]
-
统计学派的18种经典数据分析方式
所属栏目:[资讯] 日期:2021-10-31 热度:136
描述统计是通过图表或数学方法,对数据资料进行整理、分析,并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。 集中趋势分析:集中趋势分析主要靠平均数、中数、众数等统计[详细]
-
数据开发,怎么平衡效率与质量
所属栏目:[资讯] 日期:2021-10-31 热度:194
描述统计是通过图表或数学方法,对数据资料进行整理、分析,并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。 集中趋势分析:集中趋势分析主要靠平均数、中数、众数等统计[详细]
-
浅谈大数据风控平台的功能需要
所属栏目:[资讯] 日期:2021-10-31 热度:198
大数据风控业务的开展依赖智能风控平台,智能风控平台的技术基础是大数据技术,智能风控系统技术架构也是以大数据系统技术架构为基础演进而来的。 智能风控系统技术架构主要分为访问层、展现层、系统层、大数据平台四部分,其中大数据平台又分为接入层、清洗[详细]
-
大数据集群开启 kerberos 认证后 Hive 作业执行败北
所属栏目:[资讯] 日期:2021-10-31 热度:117
进一步排查问题,需要 在理解作业的底层执行机制的基础上, 大胆猜想,小心求证。 HIVE 作业的执行机制如下: 终端业务用户比如 xyz 提交给 HIVESERVER2 的 SQL作业,经过 HIVESERVER2 的解析编译和优化后,一般会生成 MR/TEZ/SPARK 任务(之所以说一般,是因[详细]
-
怎样使用技术解决方案做出数据驱动的决策
所属栏目:[资讯] 日期:2021-10-31 热度:149
数据驱动决策示例 (1)推动亚马逊公司的销售 亚马逊公司的零售部门根据消费者以前的购买和搜索活动,利用数据确定向消费者推荐哪些商品。亚马逊公司的推荐引擎是由机器学习和人工智能引导的,并不是向消费者随意推荐产品。根据麦肯锡公司的调查,2017年亚马逊[详细]
-
媲美专业微单相机 索尼Xperia 5 III国行版发布
所属栏目:[资讯] 日期:2021-10-30 热度:123
索尼此前在海外发布了 Xperia 5 III手机,近日,官方正式发布了该机的国行版本,售价为6599 元,预计将于12月初上市。 (图源网络) 外观设计上,索尼一向都在坚持自己的风格,索尼Xperia 5 III继续沿用经典老款设计方案,机身整体较为细长、方正,是市面上[详细]
-
国产厂商齐抢首发!高通推出骁龙778G+等四款芯片
所属栏目:[资讯] 日期:2021-10-30 热度:147
高通公司在今天(10月27日)宣布了四款具有性能升级、5G连接等功能的新型处理器,分别为:骁龙778G Plus 5G、骁龙695 5G、骁龙480 Plus 5G和骁龙680 4G。不仅为高端、中端和入门级产品带来更强劲的性能和更多功能。还为手机挑选最佳处理器时,给终端制造商提[详细]
-
OPPO发布小布虚拟人,开放面向开发者的多元AI能力
所属栏目:[资讯] 日期:2021-10-30 热度:135
10月27日,2021 OPPO开发者大会(ODC21)在上海举办,小布虚拟人正式发布。 小布虚拟人是首个基于虚拟人多模态交互的手机智能助手,涵盖视觉、语音、自然语言处理等多模态融合算法,依托小布助手的综合AI能力,实现与用户在多个场景生态下的内容服务、实时交互[详细]
-
OPPO发力感知和计算领域,布局泛在服务未来
所属栏目:[资讯] 日期:2021-10-30 热度:122
10月27日,2021 OPPO开发者大会(ODC21)在上海举办。 OPPO软件工程事业部总裁吴恒刚表示,OPPO期望通过强大的感知交互能力和计算决策能力,围绕人的生活场景和行为习惯,构建以用户为中心的泛在服务体验。打造人与设备间更加自然无感的交互体验,在虚拟世界的[详细]
-
OPPO开放技术平台支持,打造下一代生态势能
所属栏目:[资讯] 日期:2021-10-30 热度:176
10月27日, 2021 OPPO开发者大会(ODC21)正式开幕。此次会议以开放互融 致善创新为主题,提出对未来生态的新思考。 面向未来万物互融时代,终端会越来越多样化,手机,手表,耳机,电视,智能眼镜,智能车机等服务的演进,将从过往的以终端为中心,到以平台为[详细]
-
致力预防型医疗,OPPO发布健康战略构建健康闭环生态
所属栏目:[资讯] 日期:2021-10-30 热度:132
2021年10月27日,中国,上海在2021 OPPO开发者大会(ODC21)上,OPPO分享了健康领域的探索成果,并首次公布健康战略。秉承科技为人,以善天下的使命,OPPO致力于真正解决健康领域的核心问题,三年内成为行业重要的推动者和贡献者。 OPPO助理副总裁、健康实验[详细]