HDFS
1、概念
http://www.cnblogs.com/beanmoon/archive/2012/12/08/2809315.html
http://www.cnblogs.com/beanmoon/archive/2012/11/23/2783966.html。
2、
相比于Hadoop1.0,Hadoop 2.0中的HDFS增加了两个重大特性,HA和Federaion。HA即为High Availability,用于解决NameNode单点故障问题,该特性通过热备的方式为主NameNode提供一个备用者,一旦主NameNode出现故障,可以迅速切换至备NameNode,从而实现不间断对外提供服务。Federation即为“联邦”,该特性允许一个HDFS集群中存在多个NameNode同时对外提供服务,这些NameNode分管一部分目录(水平切分),彼此之间相互隔离,但共享底层的DataNode存储资源。
http://pan.baidu.com/share/link?shareid=3918641874&uk=2248644272
http://heylinux.com/archives/1980.html
http://heylinux.com/archives/2002.html
Servers:
hadoop-master:10.6.1.150 内存1024M
- namenode,jobtracker;
- secondarynamenode;
- datanode,taskTracker
hadoop-node-1:10.6.1.151 内存640M
- datanode,taskTracker;
hadoop-node-2:10.6.1.152 内存640M
- dataNode,taskTracker;
namenode - 整个HDFS的命名空间管理服务
secondarynamenode - 可以看做是namenode的冗余服务
jobtracker - 并行计算的job管理服务
datanode - HDFS的节点服务
tasktracker - 并行计算的job执行服务
http://www.cloudera.com/content/support/en/documentation.html
sudo apt-get install openssh-server
http://www.cnblogs.com/88999660/articles/1581524.html
cgdc001: 192.168.57.130
rsa passphrase
分享到:
相关推荐
hadoop 学习笔记,从搭建环境开始到具体实验。包括hdfs配置,yarn配置,分布式配置,如何编写mapreuduce 一步一步手把手,最后项目是hadoop 与 javaweb
1.首先必须在将虚拟机上的Linux系统配置好。 2.删除自带的jdk。 3.就可以开是学习Hadoop了接下来对照文件操作。 声明本人是第一次发帖子,如有错误请大家多多指正。请大家多多关注。
XEN虚拟机的安装配置,Hadoop集群环境的安装配置以及部署
hadoop环境ubuntu下配置,三台虚拟机,两台datanode
大数据hadoop配置的学习笔记,包含HDFS的基本操作指令等
在hadoop集群配置中边搭边记录的小白,一起学习!
1. 前期准备工作1.1 CentOS联网配置CentOS能连接外网。Linux虚拟机pingwww.baidu.com是畅通的注意:采用root角色编译,减少文件夹权限出现问题1.2 jar包准备(hadoop源码、JDK8、maven、ant、protobuf)(1)hadoop-...
4)安装Hadoop 5)配置环境变量 6)配置集群 7)单点启动 8)配置ssh 9)群起并测试集群 常见错误及解决方案 虚拟机准备 请参考文章: Cent OS 7系统的安装、VMware Tools安装及设置共享文件夹 虚拟机中克隆
maven的安装、路径配置、修改库文件路径和eclipse中的配置,解决Eclipse使用Maven下载慢的问题 1.3、创建一个maven工程HDFS 1.4、 导入相应的依赖坐标加日志添加 junit junit RELEASE org.apache.logging....
hadoop在windows下环境的配置,他人学习笔记,上传大家共同学习。
说到Hadoop的起源,不得不说到一个传奇的IT公司—全球IT技术的引领者Google。Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的GFS(GoogleFileSystem),从此文件系统进入分布式时代...
文章目录前言软件版本介绍虚拟机配置规划虚拟机的创建复制虚拟机,避免多次安装虚拟机配置ip使用 xshellSSH免密码登录关闭防火墙参考文献 前言 年过30惶惶不安,又逢疫情,还是不断学习,强化自己的能力。hadoop的...
手把手教你搭建分布式Hadoop家族集群视频教程(视频+讲义+笔记+配置),内容包括 Hadoop,SQOOP,Hive,Hbase的安装配置及集群搭建。内容包括但不限于: 01_回顾集群架构及配置集群时间同步 02_配置主节点与从节点...
配置很容易。 spark发展迅猛,框架比hadoop更加灵活实用。减少了延时处理,提高性能效率实用灵活性。也可以与hadoop切实相互结合。 spark核心部分分为RDD。Spark SQL、Spark Streaming、MLlib、GraphX、Spark R等...
20.1 Hadoop安装 74 20.2 HIVE安装 77 20.3 Derby安装与设置 78 第21章 HIVE 数据类型 80 21.1列类型(Column Type) 80 21.2文本类型(Literals) 81 21.3 Null 值 81 21.4 复杂类型 81 第22章 数据库操作 82 22.1 创建...
Spark-Core文档是本人经三年总结笔记汇总而来,对于自我学习Spark核心基础知识非常方便,资料中例举完善,内容丰富。具体目录如下: 目录 第一章 Spark简介与计算模型 3 1 What is Spark 3 2 Spark简介 3 3 Spark...
自己学习后总结的详细搭建笔记,包括伪分布式,基本按照步骤操作就可以了
docker版hbase集群构建,从docker安装开始,再到docker中下载并运行hadoop镜像,之后下载并配置hbase。最后对整个流程做总结,遇到的问题,以及一些docker基础知识和hbase教程。
1.3 Spark与Hadoop集成 ................................................................................................ 7 1.4 Spark组件 ....................................................................