【深度优先-利用Spark将Kafka数据流写入HDFS】此文章归类为：[ "深度优先", "linq", "spark", "kafka", "大数据" ]。 利用Spark将Kafka数据流写入HDFS

原创 周杰伦 7个月前 阅读: 182 阅读时长: 9分钟

【算法-大数据主要组件HDFS Iceberg Hadoop spark介绍】此文章归类为：[ "算法", "深度优先", "spark", "hadoop", "大数据" ]。 HDFS

原创 周杰伦 7个月前 阅读: 185 阅读时长: 9分钟

【spark-Spark DAG】此文章归类为：[ "spark", "分布式", "大数据" ]。 Spark DAG 什么是DAG DAG 是一组顶点和边的组合。顶点代表了 RDD， 边代表了

原创 周杰伦 7个月前 阅读: 138 阅读时长: 5分钟

【excel-HDFS集群环境配置】此文章归类为：[ "excel", "算法", "深度优先" ]。 HDFS集群环境配置 环境如下三台服务器： 192.168.32.101 node1192.168.32.102 node2192.168.32.103 node3 一、Hadoop安装包下载​​​​​​​  点此官网下载

原创 周杰伦 7个月前 阅读: 122 阅读时长: 9分钟

【编程技术-【工具】DataX 数据同步工具】此文章归类为：编程技术。 简介 DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了

原创 周杰伦 8个月前 阅读: 155 阅读时长: 9分钟

【java-WPF —— 控件模版和数据模版】此文章归类为：[ "java", "hdfs", "hadoop", "wpf", "大数据" ]。 1:控件模版简介: 自定义控件模版：自己添加的样式、标签，控件模版也是属于资源的一种，         每一个控件模版都有一唯一的 key&#xff

原创 周杰伦 8个月前 阅读: 229 阅读时长: 9分钟

【hive-Hive自定义GenericUDF函数】此文章归类为：[ "hive", "数据仓库", "hadoop", "硬件架构", "大数据" ]。 Hive自定义GenericUDF函数 当

原创 周杰伦 8个月前 阅读: 160 阅读时长: 9分钟

【架构-【科普向】什么是数据湖架构】此文章归类为：["架构"]。 数据湖架构是一种用于存储和管理大规模数据的设计模式。它的核心思想是将各种类型和格式的数据以原始形式存储在一个集中的存储系统中，而不需要预先定义数据结构或模式。以下是我对数据湖架构的理解和相关经验： 1. 构建数据湖：构建数据湖需要考虑以下几个方面：    - 存储系统选择：常见的存储系统包括Hadoop分

原创 周杰伦 8个月前 阅读: 121 阅读时长: 4分钟

【flink-【flink】flink on yarn jar异常，类冲突：原因本地上传jar和hdfs的jar冲突】此文章归类为：["flink","深度优先","java","pycharm","jar","yarn","大数据"]。 flink jar异常，类冲突可能原因： 报错如下 java.sql.SQLException: ERROR 2006 (INT

原创 周杰伦 8个月前 阅读: 254 阅读时长: 3分钟

【elasticsearch-ES系列之快照与恢复】此文章归类为：["elasticsearch","mybatis","全文检索","搜索引擎","大数据"]。 概述 原理 ES底层核心基于lucene，一个分片即是一个lucene对象实例，ES快照(snapshot)本质是对lucene物理文件的拷贝。 增量快照的核心是比较lucene segements不

原创 周杰伦 8个月前 阅读: 199 阅读时长: 9分钟