必赢彩票官方网站_看看新闻_叩击时代!

当前位置:主页 > 国际新闻 > 正文

今日头条基础数据平台架构师王烨:如何使用 ...-数据-数 …

作者: admin 来源:未知 发布时间:2018-05-11

关键词: ┊阅读:次┊

今日头条(以下简称头条)于2012成立,王烨于2014年加入,那时候,公司仅三百人。随着公司发展,数据量递增式爆棚,见证了基础数据平台从无到有、从小到大的历程,所以他由来解读平台的方方面面,再合适不过。一般情况下,数据生成与采集是很简单的事,但对于头条这个功能众多的APP来讲,难点就在于每个功能背后都是一个团队独立运营。如果每个团队都用自研的数据采集的方法,那会给后续的进程带来巨大的困扰。那怎么办呢?王烨介绍了他们分析和决策的过程,头条属于C端业务公司,主要以日志形式为主,数据的主要来源是用户行为,那么就以采用事件模型来描述日志,以SDK形式接入,支持客户端、服务端埋点。这里需要注意的是:数据质量很重要,埋点规范趁早确立,脏数据是不可避免的,可以引入必要的约束、清洗等。埋点就是用户在使用某一个功能时,产生的一段数据。头条初期,埋点由各业务场景自定义日志格式,之后埋点统一到事件模型,保证了信息的结构化和自描述,降低了后续使用成本,并复用统一的解析和清洗流程、数据仓库的入库和行为分析平台的导入。埋点的管理,也由通过文档、Wiki等方式演进成埋点管理系统,覆盖整个埋点生命周期。这样一来,也得到了埋点元信息的描述,后续可应用在数据清洗、分析平台等场景,同时埋点的上线流程实现标准化,客户端也可进行自动化测试。头条的数据源很复杂,直接拿来做分析并不方便。但是到数据仓库这一层级,会通过数据处理的过程,也就是ETL,把它建设成一个层次完备的适合分析的一个个有价值的数仓。在数仓之上,就可以让数据分析师和数据RD通过SQL和多维分析等更高效的手段使用数据。对于大部分需求相对简单的公司来说,数据最终可以产出报表就够用了,如做一个面向管理层的报表,可以让老板直观的了解一些关键性指标,这是最基础的数据应用模式。再深入一点,就需要汇总各种来源的业务数据,提供多种维度和指标来进行更深入的探索型分析,得到的结论用来指导产品的迭代和运营。王烨表示,头条绝大部分业务都是数据驱动的,都需要产出和分析大量的数据,这就或多或少需要用到平台的提供的系列工具。头条开发了一套叫数据门户的平台系统,提供给业务部门使用,对数据生命周期各个环节都提供了相应支持。数据门户提供的工具都是声明式的,也就是让使用者只需要说明要实现什么目的,具体实现的复杂细节都隐藏起来,对使用者更友好。通过这些工具,可以让业务部门的RD、分析师、PM等将精力放在业务分析本身,而不是去学习大量数据基础设施的使用方法。基础数据平台的理念就是提供整体解决方案,降低数据使用门槛,方便各种业务接入。互联网产品的数据分析模式也是相对固定的,比如事件多维分析、留存分析、漏斗分析等,把这些分析模式抽象出工具,也能覆盖住大部分常用需求。同时期望参与业务的人比如PM等能更直接的掌握数据,通过相关工具的支持自行实现数据需求,尽量解放业务部门工程师的生产力,不至于被各种临时跑数需求困扰。而对于更专业的数据分析师的工作,也会提供更专业的工具支持。采访最后王烨表示,今日头条在基础数据平台演进的过程中,踩过了很多坑,也积累了很多经验,他将把这些经验带到WOTA2017全球架构与运维技术峰会上:我将围绕头条大数据平台架构,和在平台演进过程中我们的决策思路,在WOTA2017大数据系统架构专场做一次分享,希望和大家一起交流。
加入收藏 查看评论复制给好友 打印本页 关闭窗口
澳门皇家赌场官方网址 澳门新葡京官方网址 澳门威尼斯人官方网站 澳门威尼斯人官网|注册开户 澳门永利官方网站 澳门新濠天地官网|网址 澳门新濠天网站 澳门新濠天地网址 澳门金沙官方网站 澳门金沙网站 澳门金沙官网 澳门金沙网址 澳门金沙注册 澳门威尼斯人网站 澳门永利网站网址 澳门永利 澳门威尼斯人网址 新澳门金沙网址 威尼斯人 澳门葡京 澳门新葡京赌场 澳门金沙网址 澳门星际网址 澳门永利网址 澳门威尼斯人官方网址 澳门新葡京官方网址 澳门永利官方网址 澳门金沙官方网址 澳门新濠天地官方网址 澳门银河开户网址