大数据和云计算技术周报（第106期)

导语
“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：**kafka、flink、MongoDB、消息队列、GNN、Spark

、redis、Tedis、数据**。全是干货，希望大家喜欢！！！

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！感谢编辑们的长期坚持！也请同学们继续打赏，支持社区，支持编辑们持续奉献高质量知识！

#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学，欢迎扫描文末二维码联系（参与社区工作，收获知识和进步，还有红包哦）。

特别提醒，文末有惊喜！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。（如果链接不能点开请用二维码谢谢）

1Redis

Redis实战之限制操作频率，从列举三个场景，然后再抽离本质，再到解决方案落地，最后总结，当工作遇到，可供参考

https://juejin.im/post/5cf695d9f265da1bbf690aa4?utm_source=gold_browser_extension

2HDFS

本文介绍了HDFS的短路读演进、安全的短路读以及小米在安全短路读的优化。

https://mp.weixin.qq.com/s/-HM1mMCS3l3fq_zzEAU6hg

3BigTable

在GFS应用的前期，一致性不是问题，GFS的主要使用者(BigT able)就是GFS开发者，他们深知应该如何使用GFS，这种不一致在BigTable中被很好屏蔽掉(采用上面所说的方法)，BigTable提供了很好的一致性保证。

https://mp.weixin.qq.com/s/GuJ6VqZJy3ONaVOWvQT9kg

4MongoDB

本文讲述了MongoDB的使用模式构建总结的一些经验，以及各个模式的优缺点、应用场景示例。

http://www.mongoing.com/archives/26532

5spark

spark structured streaming 介绍

https://mp.weixin.qq.com/s/xtBQQFfqZKCyETzWaN4AWA

6推荐系统

本文中，微软亚洲研究院研究员谢幸、张富峥将为你揭开大数据背后个人性格的神秘面纱，近距离感受个性化推荐的神奇之处。

https://mp.weixin.qq.com/s/JLL37WmvF9WeRERFHOPuEg

7大数据解决方案

Uber 一直致力于开发大数据解决方案，本文将介绍 Uber 的大数据平台的演进。

https://mp.weixin.qq.com/s/rpqTRp43XFyOhi0_wBGlSg

8HBase

HBase多租户

https://mp.weixin.qq.com/s/2lDQRSlIXkYf-D43e123-A

本文主要讲述了如何远程debug HBase源代码对HBase二次开发

https://mp.weixin.qq.com/s/5I-3t6ogwKSdDGOLCI19iw

9舆情分析系统

舆情大数据分析系统需要两类计算，一类是实时计算包括海量网页内容实时抽取，情感词分析并进行网页舆情结果存储。另一类是离线计算，系统需要对历史数据进行回溯，结合人工标注等方式优化情感词库，对一些实时计算的结果进行矫正等。

https://mp.weixin.qq.com/s/Eb5d0I09XTC9GcmCw0-VPw

10LSTM

本文介绍一个有意思的 LSTM 变种：ON-LSTM ，神经元经过特定排序，将层级结构（树结构）整合到 LSTM 中去，从而允许 LSTM 能自动学习到层级结构信息，达到更丰富信息的表达。

https://mp.weixin.qq.com/s/hg93slLJVEpsFJ2E1Z4EDQ

11kafka

对于kafka的架构原理我们先提出几个问题?

1.Kafka的topic和分区内部是如何存储的，有什么特点？

2.与传统的消息系统相比,Kafka的消费模型有什么优点?

3.Kafka如何实现分布式的数据存储与数据读取?

本文将详细讲述这些。

https://mp.weixin.qq.com/s/49q_A3_H8ZHun0ZSvUuBvA

11开心一刻

更多相关文章

随机推荐