相关文章
关于医学影像中的轴位面（横断面）、冠状面、矢状面的解释（转载）
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接： https://blog.csdn.net/weixin_43350614/article/details/86255509 1.冠状面，又称额状面。即从左右方向&…
关于医学影像中的轴位面（横断面）、冠状面、矢状面的解释
关于医学影像中的轴位面（横断面）、冠状面、矢状面的解释 1.冠状面，又称额状面。即从左右方向，沿人体的长轴将人体纵切为前、后两部分的切面。这种提法只是为了在临床中将器官位置描述的更具体，英文名称是：C…
Python-VBA函数之旅-oct函数
目录
一、oct函数的常见应用场景
二、oct函数使用注意事项
三、如何用好oct函数？
1、oct函数：
1-1、Python：
1-2、VBA：
2、推荐阅读：
个人主页：神奇夜光杯-CSDN博客 一、oct函数的常见应用场景 oc…
Android Retrofit 源码系列（四）~ 文件上传
Retrofit 系列文章导读：
Android Retrofit 源码系列（一）~ 原理剖析Android Retrofit 源码系列（二）~ 自定义 CallAdapterAndroid Retrofit 源码系列（三）~ 整合 RxJava、Coroutine 分析Android R…
分布式系统MaxCompute/Hadoop日志分析与优化流程
分布式系统MaxCompute/Hadoop日志分析与优化流程 前言1.0 编译阶段1.1 调度1.2 优化阶段1.3 物理执行计划 2.0 执行阶段2.1 等待资源2.2 shuffle阶段过大2.3 map阶段split的切片过多2.4 数据倾斜2.5 数据膨胀2.6 UDF执行效率低 3.0 结束阶段*结束语 前言
很久没有认真复盘一下…
创建HDFS，导入HADOOP jar包
创建HDFS，导入HADOOP 所有jar包
1、打开eclipse
点击
2、新建java project： 选择自己安装的jdk版本（老版本容易出bug）
3、在hadoop工程下新建文件夹lib（用于存放jar包） 4、导入jar包
第一个jar包 cp …
Hadoop安装过程
（1）Hadoop安装前配置
a,创建Hadoop用户
sudo是ubuntu中一种权限管理机制，管理员可以授权给一些普通用户去执行一些需要root权限执行的操作。当使用sudo命令时，就需要输入您当前用户的密码. 在Linux的终端中输入密码，…
第4章 Hadoop HA高可用
4.1 HA概述
（1）所谓HA（High Availablity），即高可用（7*24小时不中断服务）。 （2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：…
)
Hadoop HA高可用配置(2021年最新)
一、HDFS-HA 高可用集群配置
准备工作
1.准备环境
安装3台CentOS7虚拟机，hostname分别为：hadoop102， hadoop103，hadoop104在hadoop102上进行如下安装与配置，最后进行分发到其他机器：
1）jdk版…
Hadoop-HA高可用集群部署
Hadoop HA
HA 概述
(1)所谓 HA(High Availablity),即高可用(7*24 小时不中断服务)。
(2)实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA机制:HDFS 的 HA 和 YARN 的 HA。
(3)NameNode 主要在以下两个方面影响 HDFS 集群
➢ NameNode 机器发生意…
Hadoop HA 高可用（重点详解）
文章目录 四、Hadoop HA 高可用4.1 HA 概述4.2 HDFS-HA 工作机制4.2.1 HDFS-HA 工作要点4.2.2 HDFS-HA 自动故障转移工作机制 4.3 HDFS-HA 集群配置4.3.1 环境准备4.3.2 规划集群4.3.3 配置 Zookeeper 集群4.3.4 配置 HDFS-HA 集群4.3.5 启动HDFS-HA集群 4.3.6 配置 HDFS-HA 自…
hadoop linux环境搭建,Hadoop之完全分布式环境搭建
上一篇我们完成了Hadoop伪分布式环境的搭建，伪分布式模式也叫单节点集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境，运行NameNod…
配置hadoop本地环境报错
在配置完环境变量之后无法查看hadoop版本
查看路径 打开hadoop-env.cmd文件
修改第25行 将set JAVA_HOMEC:\Program Files\Java\jdk1.8.0_181 修改为
set JAVA_HOMEC:\PROGRA~1\Java\jdk1.8.0_181
就ok了 因为之前的路径是需要系统权限的,改了之后可以直接找到jdk的路径
Hadoop之HDFS高可用集群部署
集群部署情况
HOSTJNNNSNNDNZKFCZKnode01##--#-node02######node03#--#-#node04---#-#
基础操作
环境
centos7.5 jdk1.8 zookeeper 3.7.1 hadoop 2.6.5
基础设施
安装jdk
基本操作，不会的自行百度。
关闭防火墙 systemctl stop firewalldsystemctl disable …
【精】hadoop、HIVE大数据从0到1部署及应用实战
目录 基本概念
Hadoop生态
HIVE
hdfs(hadoop成员)
yarn(hadoop成员)
MapReduce(hadoop成员)
spark
flink
storm
HBase
kafka
ES
实战
安装并配置hadoop
环境准备
准备虚拟机
安装ssh并设置免密登录
安装jdk
安装、配置并启动hadoop
添加hadoop环境变量&…
一篇搞定，Hadoop高可用集群搭建及API调用，超详细
NameNode HA 背景
在Hadoop1中NameNode存在一个单点故障问题，如果NameNode所在的机器发生故障，整个集群就将不可用(Hadoop1中虽然有个SecorndaryNameNode，但是它并不是NameNode的备份，它只是NameNode的一个助理，协助NameNode工作，SecorndaryNameNode会对fsimage和edits文…
Hadoop集群搭建（附截图）
Hadoop集群配置过程 1. 配置IP地址，网关，子网掩码和DNS BootProto改为static，ONBOOT改为yes
2. 修改主机 hostname 3. 修改虚拟机网络编辑器 4. 配置本地网络vnet8 5. 关闭防火墙
Systemctl stop firewalld
这个是为了后面主节点与子节点的…
自动化运维之hadoop
hadoop 一、hadoop简介二、hadoop的下载及安装三、hadoop的基本使用1.Hadoop的3种安装模式1.本地（独立）模式——Standalone Operation2.伪分布模式——Pseudo-Distributed Operation3.完全分布模式——Fully-Distributed Mode2.扩容节点（Datanode节点的扩容）3.yarn管理器四…
