josephgao的博客
josephgao · 共 15 篇文章
kafka issues
0.8.1 Release 需要将slf4j的jar包拷贝到kafka的lib目录下,否则运行producer和consumer的shell test会报错 使用java的api,props.put("metadata.broker.list", "xxx.xxx.xxx.xxx:9092");如果brokerlist在server端kafka的配置是使用的hostname比如master,slave1,slave2,则需要java的client端知道这些hostname的路由,所有的broker
2014-04-04 09:34 · kafka · 评论(0)
flume 1.4.0 + hadoop 2.2 verifyError
转自http://grepalex.com/2014/02/09/flume-and-hadoop-2.2/ flume1.4.0 使用的是protobuf 2.4.1 hadoop 2.2使用的是2.5,所以会出现verifyError的问题 解决办法:进入flume文件夹 rm -f lib/protobuf-java-2.4.1.jar lib/guava-10.0.1.jar 重新启动即刻
2014-03-17 16:44 · hadoop flume · 评论(0)
hbase 开启lzo后的性能测试
插入性能比: lzotest表采用lzo压缩格式,nolzo无压缩, 分别启动20个线程,每个线程一条一条插入1w条数据 lzo耗时 54273ms, nolzo耗时53146 scan性能比: 逐条scan两张表, 20w条数据 lzo耗时 6509ms, nolzo耗时7593ms 压缩比: 60w条数据压缩前nolzo 205m 修改压缩格式为lzo后 数据为111m,压缩比为54.146% 综上所述,插入上开启lzo稍差但对比不明显,scan时lzo性能略有优势,压缩比还算比较可观
2014-01-14 11:51 · hbase lzo · 评论(0)
hadoop namenode failover hadoop name节点单点故障处理
转自 http://wiki.apache.org/hadoop/NameNodeFailover 一. 在dfs.name.dir上添加nfs目录, dfs.name.dir /export/hadoop/namedir,/remote/export/hadoop/namedir 如何挂在nfs参见 http://server.zdnet.com.cn/server/2007/0831/482007.shtml http://www.cnblogs.com/mchina/archive/2013/01/03/2840040.html ** chmod 777 -R server端目录 **…
2013-12-25 15:38 · hadoop · 评论(0)
scribe使用BufferStore
一. BufferStore BufferStore,它包含两个Store, 笔者这里primaryStore是hdfsFileStore,secondaryStore是stdFileStore。 整个BufferStore工作的时候是一个有限状态自动机,有以下几个状态: DISCONNECTED, SENDING_BUFFER, STREAMING, 三个状态的含义是主store挂球, 主store恢复并从次store 恢复数据,主store正常工作 有两种事件会可能改变状态 handleMessage if(STREAMING) primaryStore->handleMessage, …
2013-12-20 11:21 · 评论(0)
hbase 问题及解决
master启动报out of memory, 修改/etc/security/limits.d/90-nproc.conf /etc/security/limits.conf增加hbase用户的资源分配
2013-12-20 10:54 · 评论(0)
scrapy抓取网站
安装 easy install pip pip install scrapy Items, spider, itempipline 基本概念 scrapy startproject tutorial vim items.py class DmozItem(Item): # define the fields for your item here like: name = Field() title = Field() link = Field() desc = Field() class TorrentItem(Item): url = Field() name = Field() desc…
2013-11-04 15:09 · 评论(0)
vim 快捷键
插入模式 i 光标左边 I 行首 a 光标右边 A 行尾 o 向下一行插入 O向上一行插入 h j k l分别← ↑ ↓ → w 下一个词, b上一个词 0 到行首,^到第一个字母, $到行尾 ctrl + f向下移动一屏, ctrl + b向上移动一屏 向下查找, #向上查找 ctrl + n自动补全
2013-11-04 14:42 · vim · 评论(0)
springockito-annotations 做spring的单元测试
maven dependency <dependency> <groupId>org.kubek2k</groupId> <artifactId>springockito-annotations</artifactId> <version>1.0.8</version> <scope>test</scope> </dependency> 用法: @ContextConfiguration(loader = SpringockitoContextLoader.class, locations = <xml_contexts_you_used_before>) public class Spri…
2013-08-20 14:27 · 评论(0)
.net + firebird实现内置数据库的桌面程序
下载firebird http://www.firebirdsql.org/en/server-packages/ 笔者选的是2.5.2 解压,进入bin目录,install_super.bat 我的电脑右键->管理->服务,将firebird的服务置成手动 可选,下载一个firebird的client,笔者选的是FlameRobin还挺好用的 至此,可以试试firebird了,可以使用firebird/bin/isql, CREATE DATABASE 'firstdb.gdb' USER 'sysdba' PASSWORD 'masterkey'; 然后使用客户端去操作一下,比较标准的s…
2013-07-23 09:47 · 评论(0)
python 读取excel xlrd
去 https://pypi.python.org/pypi/xlrd/0.9.2 下载xlrd-0.9.2.tar.gz 解压安装,笔者用的macos,直接python setup.py install 使用样例: import xlrd book = xlrd.open_workbook(fn) #多少个sheet print "The number of worksheets is", book.nsheets #每个sheet的名字 print "Worksheet name(s):", book.sheet_names() #得到第0个sheet sh = book.sheet_b…
2013-07-23 09:31 · 评论(0)
hadoop技术内幕阅读
一. hadoop rpc用到的jdk java包 1. java.lang.reflect 反射和动态代理 反射能做的事情: a. 通过类的名字实例化某类 b. 通过类名和方法名调用某个方法(或类的静态方法) c. 通过类名和属性名获取类(或对象)的某个属性 动态代理能做的事: 将某个接口的方法调用交给代理类,这样在调用这个方法之前被代理类截获,可做一些操作,有些注入和AOP的赶脚 2. java.nio Buffer 写入和读取的缓冲区, limit, position, capacity clear(), flip(): limit = position, position =0用于读…
2013-07-18 17:02 · 评论(0)
map reduce 任务串联
import com.vividsolutions.jts.io.WKTReader; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache…
2013-07-18 11:57 · 评论(0)
scribed + hdfs
scribe安装与配置 依赖软件: a. autoconf: wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz tar xvf autoconf-2.69.tar.gz cd autoconf-2.69 ./configure --bindir=/usr/bin make && make install  b. 依赖库: yum install libevent libevent-develpython-devel yum install gcc-c++ yum install libt…
2013-07-18 11:54 · 评论(0)
ActiveMq 使用经历
一. 需求 一处产生消息,两处消费,故采取Topic模式的activemq. 二. 下载及安装 http://activemq.apache.org/ 下载最新版本。 解压, 进入安装目录 bin/activemq start xbean:conf/activemq.xml http://localhost:8161/admin 查看mq状态,用户名和密码在conf/jetty-realm.properties,默认是admin, admin 至此server已启动。 三. server配置 conf/activemq.xml 1. message cursors, [url]http://…
2013-07-17 09:29 · 评论(0)