【学习-设计模式学习笔记 - 设计模式与范式 -行为型：5.策略模式（下）：策略模式的应用，如何实现支持给不同大小文件排序的小程序】此文章归类为：[ "学习", "笔记", "策略模式", "小程序", "设计模式" ]。

原创 周杰伦 7个月前 阅读: 225 阅读时长: 9分钟

【spark-Spark DAG】此文章归类为：[ "spark", "分布式", "大数据" ]。 Spark DAG 什么是DAG DAG 是一组顶点和边的组合。顶点代表了 RDD， 边代表了

原创 周杰伦 7个月前 阅读: 140 阅读时长: 5分钟

【hive-【Hive】HIVE运行卡死没反应】此文章归类为：[ "hive", "数据仓库", "hadoop", "大数据" ]。 Hive运行卡死 再次强调 hive：小兄弟&#xf

原创 周杰伦 8个月前 阅读: 168 阅读时长: 5分钟

【数据库-Google云计算原理与应用（三）】此文章归类为：["数据库","云计算"]。 目录 五、分布式存储系统Megastore （一）设计目标及方案选择 （二）Megastore数据模型 （三）Megastore中的事务及并发控制 （四）

原创 周杰伦 8个月前 阅读: 219 阅读时长: 9分钟

【面试-大数据开发（Hadoop面试真题-卷二）】此文章归类为：["面试","hadoop","职场和发展","分布式","大数据"]。 大数据开发（Hadoop面试真题） 1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点？如何解决这些问题？ 2、请解释一下HDFS架构中NameNode和DataNode之间是如何通信的

原创 周杰伦 8个月前 阅读: 234 阅读时长: 9分钟

【编程技术-Hadoop配置日志的聚集——jobhistory不显示任务问题】此文章归类为：编程技术。 问题： 一开始job history是正常的，配置了日志的聚集以后不管做什么任务都不显示任务，hdfs是正常运行，而且根据配置步骤都重启过了。 下面先po出日志聚集的操作步骤，再讲问题 1.配置yarn-site.xml cd $HADOOP_HOME/etc

原创 周杰伦 8个月前 阅读: 292 阅读时长: 9分钟

【flink-flink学习之旅(二)】此文章归类为：["flink","学习","大数据"]。   目前flink中的资源管理主要是使用的hadoop圈里的yarn，故此需要先搭建hadoop环境并启动yarn和hdfs，由于看到的教程都是集群版，现实是只有1台机器，故此都是使用这台机器安装。 1.下载对应hadoop安装包 https://dlcdn.apache.org

原创 周杰伦 8个月前 阅读: 287 阅读时长: 9分钟

【c#-C#系列-C#访问hadoop API（9）】此文章归类为：["c#","hadoop","分布式","大数据","开发语言"]。          在C#中访问Hadoop通常涉及到与Hadoop分布式文件系统（HDFS）进行交互，以及可能执行MapReduce作业或其他Hadoop生态系统组件

原创 周杰伦 9个月前 阅读: 252 阅读时长: 8分钟

【apache-PiflowX新增Apache Beam引擎支持】此文章归类为：["apache"]。 参考资料： Apache Beam 架构原理及应用实践-腾讯云开发者社区-腾讯云 (tencent.com) 在之前的文章中有介绍过，PiflowX是支持spark和flink计算引擎，其架构图如下所示： 在piflow高度抽象的流水线组件的支持下，我们

原创 周杰伦 9个月前 阅读: 221 阅读时长: 4分钟

【spark-大数据-Spark-关于Json数据格式的数据的处理与练习】此文章归类为：["spark","前端","ajax","分布式","大数据"]。 上一篇： 大数据-MapReduce-关于Json数据格式的数据的处理与练习-CSDN博客 16.7 Json在Spark中的引用 依旧利用上篇的数据去获取每部电影的平均分 {"mid":1,"rate":6,"ui

原创 周杰伦 9个月前 阅读: 283 阅读时长: 8分钟