Ray

Ray

Simple is beautiful...

分类 : 大数据

Java操作图数据库Titan

Titan简介 Titan 是一个分布式的图形数据库,特别为存储和处理大规模图形而优化。 支持不同的分布式存储层 Cassandra 1.1 HBase 0.92 内置实现 Blueprints graph API Gremlin graph traversal language Frames graph-to-object mapper Rexster graph server Jav...

MapReduce性能优化小结

简介 使用Mapreduce开发程序有一段时间了,也积累了一些使用经验,后续可能会陆续使用Spark,在此总结一些Mapreduce的使用技巧。 基本配置 要减少网络延迟,配置所有节点在同一子网 不使用虚拟机 noatime挂载磁盘,文件访问数据不会被记录 节点磁盘不要做RAID和LVM map和reduce task设置 设置map执行结束之后再执行reduce任务,mapreduc...

配置noatime提升Linux IO性能

默认情况下,Linux ext2/ext3 文件系统在文件被访问、创建、修改等的时候记录下了文件的一些时间戳,比如:文件创建时间、最近一次修改时间和最近一次访问时间。因为系统运行的时候要访 问大量文件,如果能减少一些动作(比如减少时间戳的记录次数等)将会显著提高磁盘 IO 的效率、提升文件系统的性能。Linux 提供了 noatime 这个参数来禁止记录最近一次访问时间戳。 给文件系统挂载的...

mongodb 使用场景和不使用场景

mongodb介绍 MongoDB (名称来自"humongous") 是一个可扩展的高性能,开源,模式自由,面向文档的数据库。它使用C++编写。 MongoDB特点: 面向集合的存储:适合存储对象及JSON形式的数据。 动态查询:mongo支持丰富的查询表达方式,查询指令使用JSON形式的标记,可轻易查询文档中的内嵌的对象及数组。 完整的索引支持:包括文档内嵌对象及数...

sqoop导入hbase

list-tables sqoop list-tables --connect jdbc:mysql://192.168.40.194/sqoop --username root --password=root 建表及数据导入 sqoop import --connect jdbc:oracle:thin:@69.16.22.106:1521:tjsatbi --table FWSK.DM...

hbase Java API操作实例

DDL(创建及删除表格) 如何在Hbase中创建表格以及删除表格。可通过Java和Hbase Shell两种方法实现。 创建表格 HBase中表格的创建是通过对操作HBaseAdmin这一对象使其调用createTable()这一方法来实现。 其中HTableDescriptor描述了表的schema,可在其上通过addFamily()这一方法增加列族。 以下Java代码实现了建立一张简易的...