- 浏览: 235055 次
- 性别:
- 来自: 北京
最新评论
-
haoxuexi87:
【学途无忧网】Hive详解及实战课程学习地址:http://w ...
HIve实战分析Hadoop的日志 -
genan:
示例简单易懂,感谢LZ分享
设计模式之观察者模式学习笔记 -
ln_software:
Java中RandomStringUtils工具类 -
Scorpio921:
wang吖 写道该问题已经解决,由于多线程并发,链接SFTP的 ...
com.jcraft.jsch.JSchException: channel is not opened.求解决方案 -
siophy:
楼主没有续作吗?没感觉到分析功能的存在,只看到了数据的迁移
HIve实战分析Hadoop的日志
文章列表
基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI
CLI,即Shell命令行
JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似
WebGUI是通过浏览器访问 Hive
本文主要介绍的就是第二种用户接口,直接进入正题。
1、Hive 安装:
1)hive的安装请参考网上的相关文章,测试时只在hadoop一个节点上安装hive即可。
2)测试数据data文件'\t'分隔:
...
将手机上网日志文件批量导入到Hbase中,操作步骤:
1、将日志文件(请下载附件)上传到HDFS中,利用hadoop的操作命令上传:hadoop fs -put input /
2、创建Hbase表,通过Java操作
package com.jiewen.hbase;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.had ...
Hbase用Myeclipse调用JavaApi接口进行操作的时候遇到了如下问题:
该问题经分析定位为Hbase的配置文件为 conf 下面未添加 backup-master
保证Hbase集群启动成功:
http://hadoop1:60010/master-status
执行Java程序进行JavaAPI操作:
代码Coding:
public class HbaseDemo {
public static void main(String[] args) throws IOException {
String tableNa ...
期待Coding啊! [size=xx-large][/size]
问题:现有四根线程四个文件
Thread1 ------> 向文件中写入 1
Thread2 ------> 向文件中写入 2
Thread3 ------> 向文件中写入 3
Thread4 ------> 向文件中写入 4
启动四根线程最终得到的四个文件如下:
file1 ------> 123412341234………………
file2 ------> 213421342134………………
file3 ------> 312431243124………………
...
附件为IDEA快捷键;
其中包括Windows、苹果系统的快捷键,下载即可;
也可以直接在IDEA安装目录C:\Program Files (x86)\JetBrains\IntelliJ IDEA 2016.2.1\help下面去找到附件中的内容
在项目中使用commons-net-3.0.1.jar实现FTP文件的下载,在windows xp上运行正常,但是放到linux上,却出现问题,程序运行到 FTPClient.listFiles()或者FTPClient.retrieveFile()方法时,就停止在那里,什么反应都没有,出现假死状态。google一把, ...
这两天在试用SFTP传输文件的时候遇到了如下异常:
2014-09-26 09:47:50,262 [35549531] ERROR - ager.sftp.impl.SftpManagerImpl - create channel error
com.jcraft.jsch.JSchException: connection is closed by foreign host
at com.jcraft.jsch.Session.connect(Session.java:269)
at com.jcraft.jsch.Session.connect(Session.java:183 ...
1、基本命令
mvn clean --->清理操作
mvn clean compile 先运行清理后编译文件到target文件夹中
mvn clean test 运行清理测试
mvn clean package 运行清理打包
mvn clean install 运行清理和安装,会将打好的包安装到本地仓库中,以便其他的 ...
MySQL相关文章
- 博客分类:
- Oracle&Mysql
分库分表参考文章:
http://blog.csdn.net/bluishglc/article/details/6161475
mysql优化
http://zhumeng8337797.blog.163.com/blog/static/1007689142012095142876/?suggestedreading&wumii
redis-学习笔记
- 博客分类:
- redis技术
http://www.cnblogs.com/edisonfeng/p/3571870.html
http://blog.csdn.net/it_man/article/details/9730605
##
1、解压redis
2、进入解压目录 make
3、进入src目录进行安装
4、在usr/local/
创建redis目录
mkdir -p /usr/local/redis/bin
mkdir -p /usr/local/redis/etc
mv redis-benchmark redis-check-aof mkrelease ...
Linux命令行编辑快捷键
- 博客分类:
- Linux技术
Linux命令行编辑快捷键:
history 显示命令历史列表
↑(Ctrl+p) 显示上一条命令
↓(Ctrl+n) 显示下一条命令
!num 执行命令历史列表的第num条命令
!! 执行上一条命令
!?string? 执行含有string字符串的最新命令
Ctrl+r 然后输入若干字符,开始向上搜索包含该字符的命令,继续按Ctrl+r,搜索上一条匹配的命令
设计模式之构建者模式-学习笔记
- 博客分类:
- Java设计模式
先上个简陋的类图,后面把rose专业的画类图软件装上,自己为了学习留个笔记,方便以后查找使用,以下的例子从构建一个Person展开。
Coding:
1、构建者接口设计
public interface IBuilder {
public void buildHead();
public void buildBody();
public void buildFoot();
public Person buildPerson();
}
2、Person实体类
public class Person {
private String ...
Hadoop学习路线图-转载某论坛文章
- 博客分类:
- Hadoop
Hadoop学习路线图
原文:http://bbs.itheima.com/thread-120481-1-1.html
Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue ...
相关文章分享:http://blog.csdn.net/shootyou/article/details/6093562
清华大学严蔚敏老师数据结构视频教程没有声音的解决方案
请下载附件,解压文件,阅读:readme.txt