jsh0401的博客
jsh0401 · 共 21 篇文章
haddoop2.2.0的分布式安装(HA)
规划: namenode:crxy1和crxy2 datanode:crxy3、crxy4、crxy5 journalnode:crxy1、crxy2、crxy3 resourcemanager:crxy1 nodemanager:crxy3、crxy4、crxy5 zookeeper: crxy1,crxy2,crxy3 基础设置 ---设置好静态ip 克隆虚拟机ifconfig发现只有eth1.没有eth0 1 编辑 /etc/udev/rules.d/70-persistent-net.rules 注释掉包含eth0的行 把包含“eth1”行的“eth1”修改成“eth0” 2…
2014-09-11 23:00 · hadoop2.x · 评论(0)
hadoop2.2.0的伪分布安装
软件的安装目录: /opt/modules/ 安装: 0)说明 1、系统:CentOS 6.4 64位 2、关闭防火墙和SELinux service iptables status service iptables stop chkconfig iptables off vi /etc/sysconfig/selinux 设置 SELINUX=disabled 3、设置静态IP地址 vi /etc/sysconfig/network-scripts/ifcfg-eth0 4、修改HostName hostname hadoop-yarn.dragon.org vi /etc/sysconf…
2014-09-11 22:58 · hadoop2.x · 评论(0)
mapred代码示例--自定义分组
package group; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem; import org.apa…
2014-09-02 09:52 · hadoop1.x · 评论(0)
mapred代码示例--二次排序
package sort; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem; import org.apac…
2014-09-02 09:47 · hadoop1.x · 评论(0)
mapred代码示例--reduce端join
package join; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; import org.apache.hadoop.io.LongWritable; import org.apache.h…
2014-09-02 09:40 · hadoop1.x · 评论(0)
mapred代码示例--map端join
package join; import java.io.BufferedReader; import java.io.FileReader; import java.net.URI; import java.util.HashMap; import java.util.Map; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.filecache.DistributedCache; import org.apache.hadoop.fs.FSDataInputStream; import org.ap…
2014-09-02 09:36 · hadoop1.x · 评论(0)
mapred代码示例--自定义分区
package partitioner; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.net.URI; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import…
2014-09-02 09:32 · hadoop1.x · 评论(0)
mapred代码示例--map阶段使用combiner(归约)
package combiner; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.…
2014-09-01 14:23 · hadoop1.x · 评论(0)
mapred代码示例--自定义计数器
package counter; import java.net.URI; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apac…
2014-09-01 14:21 · hadoop1.x · 评论(0)
mapred代码示例--旧api的写法
package old; import java.io.IOException; import java.util.Iterator; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.File…
2014-09-01 14:18 · hadoop1.x · 评论(0)
mapred代码示例--带命令行参数运行job
package cmd; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import …
2014-09-01 10:31 · hadoop1.x · 评论(0)
hadoop1.x环境搭建
1.1 本地模式:运行时不使用HDFS 1.2 伪分布模式:在一个节点上运行hadoop集群 1.3 集群模式:在生产中真正使用的,hadoop的各个进程运行在集群的很多节点上 2.部署集群开发环境 在windows的C:\Windows\System32\drivers\etc\hosts增加ip与主机名绑定 2.1 设置静态ip (1)使用vi编辑文件/etc/sysconfig/network-scripts/ifcfg-eth2 BOOTPROTO=static IPADDR=192.168.1.191 NETMASK=255.255.255.0 GATEWAY=192.168.1.…
2014-09-01 10:27 · hadoop1.x · 评论(0)
hive的数据操作
1.向表中装载数据 load data local inpath '${env:HOME}/california-employees' overwrite into table employees partition (country='US',state='CA'); 2.通过查询语句向表中插入数据 insert overwrite/into table employees partition (country='US',state='OR') select * from staged_employees se where se.cnty='US' and se.st='OR'; 全表扫描…
2014-08-25 00:55 · hive · 评论(0)
hive的cli命令变量和属性
set -------打印出命名空间hivevar,hiveconf,system,env所有的变量 set -v + hadoop定义的属性,例如HDFS和MapReduce的属性 $ hive --define foo=bar; | $hive --hivevar foo=bar; hive>set foo; foo=bar hive>set hivevar:foo hivevar:foo=bar //显示当前数据库名 $ hive --hiveconf hive.cli.print.current.db=true hive (default) >set hiveconf:hive.cl…
2014-08-25 00:51 · hive · 评论(0)
hive的安装部署
1.解压安装包 tar -zxvf hive-0.9.0.tar.gz 2.修改$HIVE_HOME/conf里文件,去掉.template, cp hive-defalt.xml hive-site.xml 3.修改$HIVE_HOME/bin的hive-config.sh,增加以下三行 export JAVA_HOME=/usr/local/jdk export HIVE_HOME=/usr/local/hive export HADOOP_HOME=/usr/local/hadoop 4.修改hive 的metastore 到mysql a.安装mysql-------------yu…
2014-08-25 00:48 · hive · 评论(0)