导航菜单
首页 » 无极荣耀登陆 » 正文

7881游戏交易平台-我的分布式学习方案

散布式需求了解哪些常识

为了进步团队成员在散布式体系方面的专业实力,拟定了一份学习方案,期望经过履行本方案使得成员可以从0开端更佳全面的了解散布式体系的根本理论,做到知其然知其所以然,更深化得了解散布式体系规划的要害点,然后更好的辅导工程实践。

1. Introduction

学习方针:学习怎么阅览一篇论文,了解散布式体系的根本概念

  1. scalability
  2. availability
  3. performance
  4. latency
  5. fault tolerance
  6. and so on

参阅文献:

  • How To Read An Engineering Research Paper
  • Distributed systems at a high level

2. Up and down the level of abst7881游戏交易平台-我的分布式学习方案raction

学习方针:了解散布式体系的根本问题和理论。

  1. Meaning Of Abstraction
  2. System Model
  3. 散布式体系中的运转单元
  4. 什么是网络分区
  5. 同步 vs. 异步
  6. 共同性问题
  7. CAP 、FLP 、ACID 理陈绍基得罪了谁论
  8. 共同性模型

参阅文献:

  • Up and down the level of abstraction
  • Brewer’s Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web.pdf
  • Impossibility of Distributed Consensus with One Faulty Process.pdf
  • FLP Impossibility的证明
  • 散布式体系工程实践->2.3/2.4

3. Time And Order

学习方针:

  1. Total and partial order
  2. 体系中的时刻time
  3. “Global-clock”、”Local-clock”、”no-clock”
  4. Vector clock in Detail

参阅文献:

  • Time And Order
  • Time, Clocks, and the
  • Ordering of Events in
  • a Distributed System

4. Replica And Consensus Problem

学习方针:了解和学习副本共同性,比方Primary/Backup、2PC 以及 散布式共同算法。

  1. Replication: Syn & Async
  2. Primary/Backup & 2PC
  3. Partition tolerant consensus algorithms
  4. Algorithms Examples:Raft

参阅文献:

  • Distributed systems->4、5
  • Raft lecture (Raft user study)
  • Raft Understandable Distribut7881游戏交易平台-我的分布式学习方案ed Consensus

扩展阅览:Partition-tolerant consensus algorithms: PacificA、Paxos

  • Paxos lecture (Raft user study)
  • The Part-Time Parliament
  • Paxos Made Simple
  • Paxos Made Live - An Engineering Perspective
  • Paxos Made Practical

5. Data Distribution(Replica PlaceMent)

学习方针:散布式存储体系扩展新很重要的一方面是数据(副本)的区分和放置,这儿需求学习根本的区分办法。

  1. Range :字典序拆分、List
  2. Hash:Consistent hash、DHT、CRUSH

参阅文献:

  • 散布式体系规划白皮书->可扩展性
  • 散布式体系工程->2.1 数据散布办法
  • CRUSH

6. Distributed System Example

散布式存储泛指存储存储和办理数据的体系, 与无状况的运用服务器不同, 怎么处理各种毛病以确保数据共同,数据不丢, 数据继续可用, 是散布式存储体系的核心问题,也是极具应战的问题。 如下总结了散布式存储范畴的经典学习论文。(参阅:distributed-storage-papers)

  1. Ceph: Reliable, Scalable, and High-Performance Distributed Storage. Sage A. Weil. 功能7881游戏交易平台-我的分布式学习方案强大的开源海量存储体系, 支撑文件体系、块设备、以及S3接口。 首要技能特征: CRUSH数据目标定位算法, 根据动态子树的文件体系元数据办理。
  2. The Google File System. Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung。 根据一般服务器构建超大规模文件体系的典型事例,首要面向大文件和批处理体系, 规划简略而有用。 GFS是google的重要基础设施, 大数据的柱石, 也是Hadoop HDFS的参阅目标。 首要技能特征包含: 假定硬件毛病是常态(容错能力强), 64MB大块, 单Master规划,Lease/链式仿制, 支撑追加写不支撑随机写。
  3. Bigtable: A Distributed Storage System for Structured Data.Fay Chang, Jeffrey Dean, Sanjay Ghemawat, et. 支撑PB数据量级的多维非联系型7881游戏交易平台-我的分布式学习方案大表, 在google内部运用广泛,大数据的奠基著作之一 , Hbase便是参阅BigTable规划。 Bigtable的首要技能特征包含: 根据GFS完成数据高牢靠, 运用非原地更新技能(LSM树)完成数据修正, 经过range分区并完成主动弹性等。
  4. Spanner: Google’s Globally-Distributed Database. James C. Corbett, Jeffrey Dean, et. 第一个用于线上产品的大规模、高可用, 跨数据中心且支撑业务的散布式数据库。 首要技能特征包含, 根据GPS和原子钟的全球同步时刻机制TrueTime, Paxo, 多版别业务等。
  5. PacificA: Replication in Log-Based Distributed Storage Systems. Wei Lin, Mao Yang, et. 面向log-based存储的强共同的主从仿制协议, 具有较强有用性。 这篇文章体系地叙述了主从仿制体系应该考虑的问题, 能加深对主从强共同仿制的了解程度。 技能特征: 支撑强共同主从仿制协议, 答应多种存储完成, 散布式的毛病检测/Lease/集群成员办理办法。
  6. Object Storage on CRAQ, High-throughput chain replication for read-mostly workloads. Jeff Terrace and Michael J. Freedman. 支撑强一向的链式仿制办法, 支撑从多个副本读取数据。
  7. Finding a needle in Haystack: Facebook’s photo storage. Doug Beaver, Sanjeev Kumar, Harry C. Li, Jason Sobel, Peter Vajgel. Facebook散布式Blob存储, 首要用于存储图片。 首要技能特征: 小文件兼并成大文件, 小文件元数据放在内存因而读写只需一次IO。
  8. Windows Azure Storage: A Highly Available Cloud Storage Service with Strong Consistency.Brad Calder, Ju Wang, Aaron Ogus, Niranjan Nilakantan, et. 微软的散布式存储渠道, 除了支撑类S3目标存储,还支撑表格、行列等数据模型。 首要技能特征: 选用Stream/Partition两层规划(相似BigTable);写错(写满)就封存Extent, 使得副本字节共同, 简化了选主和康复操作; 将S3目标存储、表格、行列、块设备等融入到一致的底层存储架构中。
  9. The Chubby lock service for loosely-coupled distributed systems.7881游戏交易平台-我的分布式学习方案 Mike Burrows. Google规划的高可用7881游戏交易平台-我的分布式学习方案、牢靠的散布式锁服务, 可用于完成选主、散布式锁等功能, 是ZooKeeper的原型。 首要技能特征: 将paxo协议封装成文件体系接口, 高可用、高牢靠,可是不确保有很强功能。
  10. Paxos Made Live – An Engineering Perspective. Tushar Chandra, Robert Griesemer,Joshua Redstone. 从工程完成视点说明晰Paxos在chubby体系的运用, 是了解Paxo协议及其运用场景的必备论文。 首要技能特征: paxo协议, replicated log, multi-paxos。
  11. Dynamo: Amazon’s Highly Available Key-Value Store. Giuseppe DeCandia, Deniz Hastorun, Madan Jampani, et. Amazon规划的高可用的kv体系, 首要技能特征:综和运用共同性哈希,vector clock, 终究共同性构建一个高可用的kv体系, 可运用于amazon购物车场景。

7. Others

  • 散布式体系工程
  • 散布式体系原理介绍
  • 存储体系共同性与可用性
  • 散布式体系规划白皮书

本文由tom原创,转载请注明原文链接:

https://work-jlsun.github.io//2016/11/30/DistributedSystem-Learning-Roadmap.html

二维码