大数据技术与架构,2019半年文章精选
时间飞逝,到今天为止,2019年就过半了。
大家还记得年初的时候定下的目标吗?
《大数据技术与架构》创立4个月,都是业余时间原创或者筛选优质文章。回想起来,无数次的深夜整理文稿,周末大部分时间也用在了整理和输出高质量文章上。除了大促值班,从来没有感觉到这么累过...
在此对《大数据技术与架构》过去半年里发表过的文章做一个精选分类,方便大家阅读。 点击原文,可以跳转到对应的连接 。
Flink从入门到放弃之源码解析系列
- 《Flink组件和逻辑计划》
- 《 Flink执行计划生成 》
- 《 JobManager中的基本组件(1) 》
- 《 JobManager中的基本组件(2) 》
- 《 JobManager中的基本组件(3) 》
- 《 TaskManager 》
- 《 算子 》
- 《 网络 》
- 《 水印WaterMark 》
- 《 CheckPoint 》
- 《任务调度及负载均衡》
- 《异常处理》
大数据成神之路-基础篇
- 《HashSet》
- 《HashMap》
- 《LinkedList》
- 《ArrayList/Vector》
- 《ConcurrentSkipListMap》
- 《ConcurrentHashMap1.7》
- 《ConcurrentHashMap1.8 Part1》
- 《ConcurrentHashMap1.8 Part2》
- 《CopyOnWriteArrayList》
- 《CopyOnWriteArraySet》
- 《ConcurrentLinkedQueue》
- 《LinkedBlockingDeque》
- 《LinkedBlockingQueue》
- 《ArrayBlockingQueue》
- 《ConcurrentSkipListSet》
大数据成神之路-进阶篇
- 《JVM&NIO基础入门》
- 《分布式理论基础和原理》
- 《分布式中的常见问题解决方案(分布式锁/事务/ID)》
- 《Zookeeper》
- 《RPC》
- 《Netty入门篇》
- 《Netty源码篇》
-
《Linux基础》
Flink入门系列
- 《 Flink入门 》
- 《 Flink DataSet&DataSteam API 》
- 《 Flink集群部署 》
- 《 Flink重启策略 》
- 《 Flink分布式缓存 》
- 《 Flink广播变量 》
- 《 Flink中的Time 》
- 《 Flink中的窗口 》
- 《 时间戳和水印 》
- 《Broadcast广播变量》
- 《Flink-Kafka-Connector》
- 《Flink之Table-&-SQL》
- 《Flink实战项目之实时热销排行》
- 《Flink-Redis-Sink》
- 《Flink消费Kafka写入Mysql》
Flink高级进阶
- 《FaultTolerance》
- 《流表对偶(duality)性》
- 《持续查询(ContinuousQueries)》
- 《DataStream-Connectors之Kafka》
- 《SQL概览》
- 《JOIN 算子》
- 《TableAPI》
- 《JOIN-LATERAL》
- 《JOIN-LATERAL-Time Interval(Time-windowed)》
- 《Temporal-Table-JOIN》
- 《State》
- 《FlinkSQL中的回退更新-Retraction》
- 《Apache Flink结合Apache Kafka实现端到端的一致性语义》
- 《Flink1.8.0发布!新功能抢先看》
- 《Flink1.8.0重大更新-Flink中State的自动清除详解》
- 《Flink在滴滴出行的应用与实践》
- 《批流统一计算引擎的动力源泉—Flink Shuffle机制的重构与优化》
- 《HBase分享 | Flink+HBase场景化解决方案》
- 《腾讯基于Flink的实时流计算平台演进之路》
- 《Flink进阶-Flink CEP(复杂事件处理)》
- 《Flink基于EventTime和WaterMark处理乱序事件和晚到的数据》
- 《Flink 最锋利的武器:Flink SQL 入门和实战》
- 《Flink Back Pressure》
- 《使用Flink读取Kafka中的消息》
- 《Flink on YARN部署快速入门指南》
- 《Apache Flink状态管理和容错机制介绍》
Hadoop生态圈系列
- 《Hadoop极简入门》
- 《MapReduce编程模型和计算框架架构原理》
- 《分布式文件系统-HDFS》
- 《YARN》
- 《Hadoop机架感知》
- 《HDFS的一个重要知识点-HDFS的数据流》
- 《Hadoop分布式缓存(DistributedCache)》
- 《如何从根源上解决 HDFS 小文件问题》( https:// dwz.cn/FqDPpRUc )
- 《Hadoop解决小文件存储思路》( https:// dwz.cn/2oCdmCkw )
- 《Hadoop所支持的几种压缩格式》
- 《MapReduce Join》
- 《YARN Capacity Scheduler(容量调度器)》
- 《hadoop上搭建hive》
- 《基于Hadoop的数据仓库Hive基础知识》
- 《Hive使用必知必会系列》
- 《一个小知识点-Hive行转列实现Pivot》
- 《面试必备技能-HiveSQL优化》
- 《HBase和Hive的区别和各自适用的场景》
- 《一篇文章入门Hbase》
- 《敲黑板:HBase的RowKey设计》
- 《HBase读写优化》
- 《HBase在滴滴出行的应用场景和最佳实践》
- 《Phoenix=HBase+SQL,让HBase插上了翅膀》
- 《一个知识点将你拒之门外之Hbase的二级索引》( https:// dwz.cn/umfBOZ5l )
- 《Phoenix重磅 | Phoenix核心功能原理及应用场景介绍》
- 《DB、DW、DM、ODS、OLAP、OLTP和BI的概念理解》
- 《Hive/HiveSQL常用优化方法全面总结》
实时计算系列(spark、kafka等)
- 《Spark Streaming消费Kafka数据的两种方案》
- 《Apache Kafka简单入门》
- 《你不得不知道的知识-零拷贝》
- 《Kafka在字节跳动的实践和灾备方案》
- 《万字长文干货 | Kafka 事务性之幂等性实现》
- 《Kafka最佳实践》
- 《Kafka Exactly-Once 之事务性实现》
- 《Kafka连接器深度解读之错误处理和死信队列》
- 《Spark之数据倾斜调优》
- 《Structured Streaming 实现思路与实现概述》
- 《Spark内存调优》
- 《广告点击数实时统计:Spark StructuredStreaming + Redis Streams》
- 《Spark Shuffle在网易的优化》
- 《SparkSQL极简入门》
- 《下一代分布式消息队列Apache Pulsar》
- 《Pulsar与Kafka消费模型对比》
- 《Spark SQL重点知识总结》
- 《Structured Streaming 之状态存储解析》
- 《周期性清除Spark Streaming流状态的方法》
- 《Spark Structured Streaming特性介绍》
- 《Spark Streaming 反压(Back Pressure)机制介绍》
-
《Spark 从 Kafka 读数设置子并发度问题》
规范和系统设计
杂谈
- 《作为面试官的一点点感悟,谈谈技术人的成长之路》
- 《成年人的世界没有容易二字》
- 《我最近在关注的事》
- 《真香》
- 《简单说说学习这件事》
- 《20多岁做什么,将来才不会后悔》
- 《2019-05-12最近的总结》
- 《我军新闻联播气势+9999》
- 《周末分享 | 高手的战略》
- 《周末分享 | 快速定位自己的缺点》
- 《周末分享 | 我见过最高级的聪明是靠谱》
很多朋友会在微信私信我问题,因为个人时间着实有限,我会尽力回答大家。但是还是有很多人的提问淹没在了无数条的消息里。对此说声抱歉。
下半年计划,成体系输出更多高质量文章,为粉丝争取更多福利。
感谢各位读者陪伴,你的每一次点赞和转发都是对作者最大的支持!
— THE END —