Ray

Ray

Simple is beautiful...

分类 : 大数据

Mapreduce读取hbase汇总到RDBMS

前言 Hbase对Mapreduce API进行了扩展,方便Mapreduce任务读写HTable数据。 HBase作为源的MapReduce读取示例 package hbase; import java.io.IOException; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQ...
Ray

flume日志导入elasticsearch

简介 搭建Flume + ElasticSearch + kibana 快速搭建实时日志查询、收集与分析系统 flume配置 agent.sources = tail agent.channels = memoryChannel agent.channels.memoryChannel.type = memory agent.sources.tail.channels = memoryCha...
Ray

ElasticSearch 简单入门

简介 ElasticSearch是一个开源的分布式搜索引擎,具备高可靠性,支持非常多的企业级搜索用例。像Solr4一样,是基于Lucene构建的。支持时间时间索引和全文检索。官网:http://www.elasticsearch.org 它对外提供一系列基于 JAVA 和 HTTP 的 API,用于索引、检索、修改大多数配置。 写这篇博客的的主要原因是ElasticSearch的网站只有一些...

Hive编程指南中英文下载

Hive编程指南 下载地址: 中文版:Hive编程指南.pdf 英文版:Programming.Hive.pdf Hive用户指南 下载地址: (Hive_user_guide)_中文版.doc Hive编程指南预览

MySQL和Hive Group By排序

需求 分组group by的时候,需要在group by 每组的结果进行排序 如这样的需求: 需要找出所有文章中,每个作者按时间排序的文章(最新文章),想到的语句有: select * from contents group by author order by pulishtime desc; 这个语句的执行结果如何? 请先来看下where,group by,having,order b...

HDFS Shell命令

FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认schem...