1. 配景和手段

1.1. 数据工程是一个快速发展的领域，对于奈何成为别称数据工程师仍然存在好多问题

1.2. 进入数据工程领域的东谈主在西席、行状和手段方面有着不同的配景

1.2.1. 每个进入该领域的东谈主都应该干预大都的时刻进行自学

1.3. 从一个附进的领域转到数据工程是最容易的

1.3.1. 软件工程

1.3.2. ETL开发

1.3.3. 数据库管制

1.3.4. 数据科学

1.3.5. 数据分析

1.3.6. 这些学科倾向于“数据感知”，并为组织中的数据变装提供精致的配景

1.4. 数据工程师还必须了解数据消耗者（数据分析师和数据科学家）的需求以及数据对整个组织的更庸俗影响

1.5. 数据工程是一种举座履行，最好的数据工程师通过业务和时期视角来看待他们的职责

2. 业务职责

2.1. 宏不雅职责并不是数据工程师独到的，而是对于任安在数据或时期领域责任的东谈主来说都至关迫切的职责

2.2. 知谈奈何与非时期东谈主员和时期东谈主员交流

2.2.1. 换取是重要，你需要梗概与整个组织的东谈主开发融洽的干系和信任

2.2.2. 关注组织眉目结构、谁向谁讲明、东谈主们奈何互动以及存在哪些孤岛

2.3. 了解奈何界定并网罗业务和居品需求

2.3.1. 你需要知谈要构建什么，并确保你的利益计议者高兴你的评估

2.3.2. 培养对数据和时期决策奈何影响业务的相识

2.4. 了解敏捷、DevOps和DataOps的文化基础

2.4.1. 许多时期巨匠诞妄地以为这些履行不错通落伍期科罚

2.5. 要领资本

2.5.1. 当你梗概在提供浩大价值的同期保捏低资本，你就会生效

2.6. 捏续学习

2.6.1. 数据领域让东谈主嗅觉像是在以光速变化

2.7. 一个生效的数据工程师老是会放大视线以了解大局，并探索奈何为企业结束浩大价值

2.8. 时常看到数据团队的生效基于他们与其他利益计议者的换取，成败很少取决于时期

3. 时期职责

3.1. 数据工程人命周期的底层假想

3.1.1. 安全

3.1.2. 数据管制

3.1.3. DataOps

3.1.4. 数据架构

3.1.5. 编排

3.1.6. 软件工程

3.2. 数据工程师应该具有坐蓐级软件工程才略

3.3. 工程师咫尺使用托管开源和简单的即插即用软件即劳动(Software-as-a-Service，SaaS)居品

3.4. 即使在一个更综合的全国中，软件工程最好履行提供竞争上风，而梗概深刻磋议代码库的深层架构细节的数据工程师在出现特定时期需求时可为他们的公司提供上风

3.4.1. 无法编写坐蓐级代码的数据工程师将受到严重碎裂，而且咱们以为这种情况不会很快改造

3.5. 数据工程的主要谈话

3.5.1. SQL

3.5.1.1. 数据库和数据湖最常用的接口

3.5.1.2. SQL是一个刚劲的器用，不错快速科罚复杂的分析和数据接济问题

3.5.1.3. SQL的不对理有用性

3.5.1.3.1. 不错通过使用声明式、聚合论SQL语义来处理海量数据

3.5.1.3.2. 鉴于时刻是数据工程团队蒙胧量的主要摈弃身分，工程师应该摄取兼具简单性和高坐蓐率的器用

3.5.1.3.3. 专科的数据工程师不错识别SQL何时不是妥贴该责任的器用，况且不错遴荐合适的替代决策并编写代码

3.5.1.3.4. SQL巨匠可能会编写查询以在当然谈话处理(Natural Language Processing，NLP)管谈中对原始文本进行词干化和标志化，但也会相识到使用本机Spark进行编码是这种受虐进修的更好替代决策

3.5.2. Python

3.5.2.1. 数据工程和数据科学之间的桥梁谈话

3.5.3. JVM谈话

3.5.3.1. Java和Scala

3.5.3.2. 流行于Apache开源方法，举例Spark、Hive和Druid

3.5.3.3. JVM日常比Python性能更高

3.5.3.4. 不错提供对比Python API（举例，Apache Spark和Beam即是这种情况）更初级别的功能的拜访

3.5.4. bash

3.5.4.1. Linux操作系统的敕令行接口(Command Line Interface，CLI)

3.5.5. R、JavaScript、Go、Rust、C/C++、C#和Julia

3.5.5.1. 事实评释，JavaScript动作云数据仓库顶用户界说函数的谈话很受接待

3.5.5.2. C#和PowerShell对于诓骗Azure和Microsoft生态系统的公司来说是必不能少的

3.6. 关注基本面以了解不会改造的东西

3.7. 关注捏续的发展，了解该领域的发展标的

3.8. 新的范式和履行一直在被引入，你有职守与时俱进

3.9. 奋勉了解新时期将如安在人命周期中推崇作用

4. 变装的一语气性

4.1. 数据工程师并非都从事同样类型的责任或领有同样的手段组合

4.2. 数据熟习度是一个了解公司在提高数据才略时将靠近的数据挑战类型的有用带领

4.3. A型数据科学家

4.3.1. A代表分析(Analysis)

4.3.2. 专注于表现数据并从中获取瞻念察力

4.4. B型数据科学家

4.4.1. B代表构建(Building)

4.4.2. 与A型数据科学家有着相似的配景，并领有刚劲的编程手段

4.4.3. B型数据科学家开发使数据科学在坐蓐中推崇作用的系统

4.5. A型数据工程师

4.5.1. A代表综合化(Abstraction)

4.5.2. 在这种情况下，数据工程师幸免了无分辩的艰巨责任，保捏数据架构尽可能综合和径直，而不是从新发明轮子

4.5.3. A型数据工程师主要通过使用透顶现成的居品、托管劳动和器用来管制数据工程人命周期

4.5.4. A型数据工程师在五行八作、各式等第的数据熟习度的公司中责任

4.6. B型数据工程师

4.6.1. B代表构建(Build)

4.6.2. B型数据工程师开发数据器用和系统，以彭胀和诓骗公司的中枢竞争力和竞争上风

4.6.3. 在数据熟习度范围内，B型数据工程师更常见于处于第2阶段和第3阶段（通过数据彭胀和起始）的公司，或者当运转数据用例相当非凡且重要甚至需要自界说数据器用来脱手时

5. 组织里面的数据工程师

5.1. 数据工程师不是在真空中责任

5.2. 凭证他们从事的责任，他们将与时期东谈主员和非时期东谈主员互动，并面对不同的标的（里面和外部）

5.3. 面向里面与面向外部的数据工程师

5.3.1. 面向外部的数据工程师日常与面向外部的应用程序的用户保捏一致

5.3.1.1. 酬酢媒体应用程序、物联网(Internet of Things，IoT)开导和电子商务平台

5.3.2. 面向外部的数据工程带来了一系列非凡的问题

5.3.2.1. 面向外部的查询引擎日常比面向里面的系统处理更大的并发负载

5.3.2.2. 工程师还需要研讨对用户不错运行的查询进行严格摈弃，以摈弃任何单个用户对基础设施的影响

5.3.2.3. 安全性对于外部查询来说是一个更为复杂和明锐的问题，尤其是当查询的数据是多田户

5.3.3. 面向里面的数据工程师日常关注对业务和里面利益计议者的至关迫切的需求活动

5.3.3.1. 为BI仪容板、讲明、业务历程、数据科学以及ML模子创建和禁绝数据管谈与数据仓库

5.3.4. 面向外部和面向里面的职责时常搀杂在一都

5.3.4.1. 在履行中，面向里面的数据日常是面向外部的数据的先决条目

5.3.5. 数据工程师有两组用户，他们对查询并发性、安全性等有着判然不同的要求

6. 其他时期变装

6.1. 数据工程人命周期终点许多职守领域

6.2. 数据工程师径直或转折（通过司理）与许多组织单元互动，担任着各式变装的纽带

6.2.1. 数据工程师是数据坐蓐者[如软件工程师、数据架构师和DevOps或站点可靠性工程师(Site Reliability Engineer，SRE)]与数据消耗者（如数据分析师、数据科学家和机器学习工程师）之间的要道

6.2.2. 数据工程师将与运营变装的东谈主员（如DevOps工程师）进行交互

6.3. 上游利益计议者

6.3.1. 数据架构师

6.3.1.1. 数据架构师的功能在综合级别上与数据工程师出入无几

6.3.1.2. 数据架构师假想组织数据管制的蓝图，忖度打算历程、举座数据架构和系统

6.3.1.3. 还充任组织时期和非时期方面之间的桥梁

6.3.1.4. 生效的数据架构师日常有丰富的工程劝诫所带来的“构兵伤疤”，使他们梗概带领和协助工程师，同期生效地将工程挑战传达给非时期业务利益计议者

6.3.1.5. 实施跨孤岛和业务部门管制数据的政策，带领数据管制和数据治理等群众策略，并带领要紧举措

6.3.1.6. 日常在云转移和未开发云假想中推崇中枢作用

6.3.1.6.1. 云数据架构比土产货系统更具流动性，因此传统上触及庸俗磋议、较长请托周期、购买条约和硬件装配的架构决策咫尺日常在实施过程中作念出，仅仅更大策略中的一个程序

6.3.1.7. 凭证公司的数据熟习度和规模，数据工程师可能会与数据架构师的职责有重复，或者承担数据架构师的职责

6.3.1.7.1. 数据工程师应该对架构最好履行和方法有好的表现

6.3.1.8. 数据架构师日常匡助假想动作数据工程师源系统的应用程序数据层

6.3.1.8.1. 还不错在数据工程人命周期的各个其他阶段与数据工程师进行交互

6.3.2. 软件工程师

6.3.2.1. 构建运行业务的软件和系统

6.3.2.2. 主要认真生成数据工程师将使用和处理的里面数据

6.3.2.3. 数据工程师应该与软件工程师一都责任，了解产生数据的应用程序、生成数据的数目、频率和方式，以及任何其他会影响数据工程人命周期的身分

6.3.3. DevOps工程师和站点可靠性工程师

6.3.3.1. DevOps和SRE日常通过运营监控来生成数据

6.3.3.2. 将他们归类为数据工程师的上游，但他们也可能是下贱，通过仪容板使用数据或径直与数据工程师交互以息争数据系统的操作

6.4. 下贱利益计议者

6.4.1. 数据科学家

6.4.1.1. 开发前瞻性模子来进行瞻望和提供提议，然后凭证明时数据评估这些模子，以各式方式提供价值

6.4.1.1.1. 具有前瞻性

6.4.1.2. 凭证常见的行业外传，数据科学家破耗70%～80%的时刻来网罗、清洗和准备数据

6.4.1.2.1. 这些数字日常反馈了不熟习的数据科学和数据工程履行

6.4.1.2.2. 许多流行的数据科学框架要是莫得妥贴地进行彭胀，可能会成为瓶颈

6.4.1.2.3. 只在单一责任站上责任的数据科学家免强我方对数据进行下采样，这使得数据准备变得愈加复杂，并可能影响他们制作的模子的质地

6.4.1.2.4. 数据工程师应该尽可能地将这项责任自动化

6.4.1.3. 对坐蓐就绪数据科学的需求是数据工程专科兴起的迫切驱能源

6.4.1.3.1. 数据工程师应该匡助数据科学家结束一条坐蓐旅途

6.4.2. 数据分析师

6.4.2.1. 寻求了解业务绩效和趋势

6.4.2.2. 日常关注以前或咫尺

6.4.2.3. 日常在数据仓库或数据湖中运行SQL查询

6.4.2.4. 诓骗电子表格进行经营和分析，以及各式BI器用

6.4.2.5. 数据分析师是数据领域的巨匠，他们时常处理数据况且相当熟整个据的界说、特征和质地问题

6.4.2.6. 数据分析师的典型下旅客户是业务用户、管制层和高管

6.4.2.7. 数据工程师与数据分析师合营，为业务所需的新数据源构建管谈

6.4.2.7.1. 数据分析师的主题专科常识对于提高数据质地相当有价值，他们时常以这种身份与数据工程师合营

6.4.3. 机器学习工程师和东谈主工智能磋议东谈主员

6.4.3.1. 机器学习工程师（ML工程师）与数据工程师和数据科学家重复

6.4.3.2. ML工程师开发先进的ML时期、窥探模子以及假想和禁绝在规模化坐蓐环境中运行ML历程的基础设施

6.4.3.3. ML工程师日常具有ML和深度学习时期及框架（如PyTorch或TensorFlow）的高等责任常识

6.4.3.4. ML工程的全国正在滚雪球般发展，况且与数据工程中发生的许多同样的发展并行

6.4.3.5. AI磋议东谈主员致力于新的、先进的ML时期

6.4.3.5.1. AI磋议东谈主员可能在大型科技公司、特别的常识产权初创公司(OpenAI、DeepMind)或学术机构责任

6.4.3.6. 在资金弥散的组织中，AI磋议东谈主员高度专科化，并与赞助型工程师团队一都合营

7. 业务勾通

7.1. 数据工程师还动作组织通顺器在更庸俗的范围内运作，日常以非时期身份

7.1.1. 数据工程师要么动作蚁集式团队处理各式传入央求，要么动作资源被分派给特定的司理、方法或居品

7.2. 居品司理

7.2.1. 居品司理监督居品开发，日常领有居品线

7.2.2. 数据工程师的配景下，这些居品被称为数据居品

7.2.3. 数据居品要么是重新脱手构建，要么是对现存居品的缓缓雠校

7.2.4. 跟着企业界聚焦以数据为中心，数据工程师与居品司理的交互愈加频繁

7.2.5. 与方法司理一样，居品司理均衡时期团队的活动与客户和业务的需求

7.3. 企业决策层数据

7.3.1. C级高管越来越多地参与到数据和分析中，因为这些被以为是当代企业的迫切金钱

7.4. 首席推论官

7.4.1. 非时期公司的首席推论官(Chief Executive Officer，CEO)日常不温暖数据框架和软件的细节

7.4.2. 他们与时期最高管制层变装和公司数据勾通层合营界说愿景

7.4.2.1. 数据工程师为了解数据的可能性提供了一个窗口

7.4.2.2. 数据工程师和他们的司理禁绝着一张舆图，说明在什么时刻范围内组织里面和第三方不错使用哪些数据

7.5. 首席信息官

7.5.1. 首席信息官(Chief Information Officer，CIO)是认真组织内信息时期的高等管制东谈主员

7.5.2. 一个面向里面的变装

7.5.3. CIO时常与领有精致数据文化的组织中的数据工程勾通层合营

7.5.3.1. 要是一个组织的数据熟习度不是很高，CIO日常会匡助塑造其数据文化

7.5.3.2. CIO将与工程师和架构师合营制定要紧举措，并就摄取主要架构元素作念出策略决策

7.5.3.3. 企业资源忖度打算(Enterprise Resource Planning，ERP)和客户干系管制(Customer Relationship Management，CRM)系统、云转移、数据系统和面向里面的IT

7.6. 首席时期官

7.6.1. 首席时期官(Chief Technology Officer，CTO)与CIO雷同

7.6.2. 面向外部

7.6.3. CTO领有面向外部应用程序的重要时期策略和架构，这些应用程序包括挪动、Web应用程序和物联网

7.6.3.1. 这些都是数据工程师的重要数据源

7.7. 首席数据官

7.7.1. 首席数据官(Chief Data Officer，CDO)于2002年在Capital One创立

7.7.2. 认真公司的数据金钱和策略

7.7.3. 专注于数据的贸易效率，但应具备刚劲的时期基础

7.7.4. 认真监督数据居品、策略、见地和中枢功能，如主数据管制和隐讳

7.7.5. 会管制业务分析和数据工程

7.7.6. 专注于请托数据所需的时期和组织

7.8. 首席分析官

7.8.1. 首席分析官(Chief Analytice Officer，CAO)是CDO变装的变体

7.8.2. 认真业务的分析、策略和决策制定

7.8.3. 不错监督数据科学和ML，但这在很猛进程上取决于公司是否有CDO或CTO变装

7.9. 首席算法官

7.9.1. 首席算法官(Chief Algorithms Officer，CAO-2)是最高管制层最近的立异

7.9.2. 一个高度时期性的变装，专注于数据科学和ML

7.9.3. CAO-2日常具有在数据科学或ML方法中动作个东谈主孝敬者和团队勾通的劝诫

7.9.4. 具有ML磋议配景和计议的高等学位