大数据技术基础教程 课件 第2章 分布式计算编程基础

第2章分布式计算编程基础《大数据技术基础教程》学习目标/Target了解分布式系统及分布式计算架构了解分布式文件系统掌握CAP理论章节概述/

Summary随着使用传统计算机语言硬编码方式设计的HPC程序越来越不受青睐，Hadoop和Spark这样的分布式软件框架应运而生，推动了适用于大规模HPC系统的高效程序发展。受分布式计算原理的启发，诸如MapReduce这样的函数式编程语言模型可以通过Hadoop和Spark在HPC集群上轻易地实现。本章主要介绍分布式系统、分布式计算架构、分布式文件系统和CAP定理目录/Contents01020304分布式系统分布式计算架构分布式文件系统CAP定理分布式系统2.12.1分布式系统分布式系统是一种计算机网络化布局，各个(计算机）节点间的信息交流通过复杂的消息传递接口来实现。分布式系统主要用来处理那些往往需要几百台计算机协同才能处理和完成的数据集上的问题。多进程进程通信独立的地址空间2.1分布式系统在分布式系统的构建中，无论分布于各个地区还是建在同一座建筑物内，都要面对以下几个挑战。程序并发缺少中央时钟独立故障分布式计算架构2.22.2分布式计算架构分布式系统是分散在网络中多台机器上的复杂软件组件。这些系统需要进一步组织分工，以求其复杂性能够被理解。分层架构基于对象的架构数据中心架构基于事件的架构分布式文件系统2.32.3分布式文件系统离线分析系统2.3.1分布式文件系统需求分布式文件系统的发展已成为识别分布式服务设计中诸多挑战和陷阱的一个起点。在其发展的早期阶段，已经实现了访问透明和位置透明。性能、可扩展性、并发控制、容错和安全要求也在其后续开发阶段中得以满足。（1）透明性：

访问透明

位置透明

移动透明

性能透明

扩展透明2.3分布式文件系统离线分析系统2.3.1分布式文件系统需求（2）并发文件更新（3）文件复制（4）硬件的异构性（5）容错（6）一致性（7）安全性（8）效率性CAP定理2.42.4CAP定理CAP定理又称CAP原则，指的是在一个分布式系统中，Consistency（一致性）、Availability（可用性）、Partitiontolerance（分区容错性），最多只能同时三个特性中的两个，三者不可兼得.2.4.1CAP的定义Consistency(一致性)：“allnodesseethesamedataatthesametime”，即更新操作成功并返回客户端后，所有节点在同一时间的数据完全一致，这就是分布式的一致性。一致性的问题在并发系统中不可避免，对于客户端来说，一致性指的是并发访问时更新过的数据如何获取的问题。从服务端来看，则是更新如何复制分布到整个系统，以保证数据最终一致。2.4.1CAP的定义Availability(可用性)：可用性指“Readsandwritesalwayssucceed”，即服务一直可用，而且是正常响应时间。好的可用性主要是指系统能够很好的为用户服务，不出现用户操作失败或者访问超时等用户体验不好的情况。2.4.1CAP的定义PartitionTolerance(分区容错性)：即分布式系统在遇到某节点或网络分区故障的时候，仍然能够对外提供满足一致性或可用性的服务。分区容错性要求能够使应用虽然是一个分布式系统，而看上去却好像是在一个可以运转正常的整体。比如现在的分布式系统中有某一个或者几个机器宕掉了，其他剩下的机器还能够正常运转满足系统需求，对于用户而言并没有什么体验上的影响。2.4.2CAP定理证明N1、N2正常运作N1和N2通信网络出现故障2.4.3取舍策略CAP三个特性只能满足其中两个，那么取舍的策略就共有三种：CAwithoutP：CPwithoutA：APwihtoutC：本章小结本章主要介绍了分布式计算编程的基础概念，包括分布