_00021 妳那伊抹微笑_谁的异常最诡异第二期之 Jedis pool.returnResource(jedis)，_00021jedis
_00021 妳那伊抹微笑_谁的异常最诡异第二期之 Jedis pool.returnResource(jedis)，_00021jedis
博文作者：妳那伊抹微笑博客地址：http://blog.csdn.net/u012185296
博文标题：_00021 妳那伊抹微笑_谁的异常最诡异第二期之 Jedis pool.returnResource(jedis)
个性签名：世界上最遥远的距离不是天涯，也不是海角，而是我站在妳的面前，妳却感觉不到我的存在
技术方向：Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spark ... 云计算技术
转载声明：可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明，谢谢合作！
qq交流群：214293307
（期待与你一起学习，共同进步）# Redis 谁的问题最诡异第二期
commons-collections-3.2.jar
# 1 Exception in thread "main"java.lang.NoClassDefFoundError: org/apache/commons/collections/CursorableLinkedList
分析：Redis的JavaAPI中Jedis错误，看到这个你肯定会觉得这个问题有点低级，确实低级，不用看都知道是少导了jar包引起的，不过这不是重点，重点是Jedis中的一个方法：pool.returnResource(jedis);这个才是重点中的重点，接下来我们看看这个方法的描述：voidredis.clients.util.Pool.returnResource(Jedis jedis)可以看出这里面并没有抛出异常的声明子类的，那我们就不会去try-catch了，不去try-catch的后果就是会出现莫名其妙的错误，不try-catch会出现一个java.lang.NullPointerExceptio这样的空指针异常，这样的信息给我们是没用的，这是我们缺少jar包导致的问题，这里却提示java.lang.NullPointerException这样的空指针异常，这不是坑爹么？（完全不是我们想要的东西）、、、然后就开始坑爹了，自己开始找错误了，运气差的话找N久也找不出来，有一种怒砸电脑的冲动，运气好的话一下就把错误找出来了，请看下面的代码，不用try-catch跟使用try-catch的比较。饿当时就没使用try-catch，因为这个方法pool.returnResource(jedis);没有声明有异常抛出，所以自然不会用。（坑爹啊！）
原因：缺少commons-collections-3.2.jar这样的jar包
解决：导入commons-collections-3.2.jar该jar包就行了
# 没有使用try-catch的代码已经相应的异常信息
# 没有使用try-catch的代码
publicvoid hdel(String key, String field){
JedisPoolpool =null;
Jedisjedis =null;
try {
pool= getJedisPool(key);
jedis= pool.getResource();
jedis.hdel(key,field);
}catch (Exception e) {
log.error("Redis hdel exception :" + key, e);
pool.returnBrokenResource(jedis);
}finally {
pool.returnResource(jedis);
}
# 异常信息
java.lang.NullPointerException
atcn.adsit.iva.preroll.dp.synch.analysis.redis.util.ConsistentHashRedisUtils.hset(ConsistentHashRedisUtils.java:164)
atcn.adsit.iva.preroll.dp.synch.analysis.UserBehaviorStoreRedis.userBehavior2Redis(UserBehaviorStoreRedis.java:58)
atcn.adsit.iva.preroll.dp.synch.analysis.UserBehaviorAnalysisMainClass.main(UserBehaviorAnalysisMainClass.java:33)
# 使用了try-catch的代码
public void hdel(String key, String field) {
JedisPool pool =null;
Jedis jedis =null;
try {
pool = getJedisPool(key);
jedis = pool.getResource();
jedis.hdel(key, field);
} catch (Exception e) {
log.error("Redis hdel exception : " +key, e);
pool.returnBrokenResource(jedis);
} finally {
try {
pool.returnResource(jedis);
}catch(Exception e) {
log.error("JdisreturnResource exception : ", e);
}
}
# 异常信息
[2014-07-1016:39:17,659].[ERROR].[cn.adsit.iva.preroll.dp.synch.analysis.redis.util.ConsistentHashRedisUtils]
JdisreturnResource exception :
java.lang.NullPointerException
atcn.adsit.iva.preroll.dp.synch.analysis.redis.util.ConsistentHashRedisUtils.hset(ConsistentHashRedisUtils.java:164)
atcn.adsit.iva.preroll.dp.synch.analysis.UserBehaviorStoreRedis.userBehavior2Redis(UserBehaviorStoreRedis.java:58)
atcn.adsit.iva.preroll.dp.synch.analysis.UserBehaviorAnalysisMainClass.main(UserBehaviorAnalysisMainClass.java:33)
Exception in thread"main" java.lang.NoClassDefFoundError:org/apache/commons/collections/CursorableLinkedList
atorg.apache.commons.pool.impl.GenericObjectPool.<init>(GenericObjectPool.java:392)
atorg.apache.commons.pool.impl.GenericObjectPool.<init>(GenericObjectPool.java:275)
atredis.clients.util.Pool.<init>(Pool.java:14)
atredis.clients.jedis.JedisPool.<init>(JedisPool.java:24)
atredis.clients.jedis.JedisPool.<init>(JedisPool.java:29)
atcn.adsit.iva.preroll.dp.synch.analysis.redis.util.ConsistentHashRedisUtils.getJedisPool(ConsistentHashRedisUtils.java:343)
atcn.adsit.iva.preroll.dp.synch.analysis.redis.util.ConsistentHashRedisUtils.getJedisPool(ConsistentHashRedisUtils.java:317)
atcn.adsit.iva.preroll.dp.synch.analysis.redis.util.ConsistentHashRedisUtils.hset(ConsistentHashRedisUtils.java:156)
atcn.adsit.iva.preroll.dp.synch.analysis.UserBehaviorStoreRedis.userBehavior2Redis(UserBehaviorStoreRedis.java:58)
atcn.adsit.iva.preroll.dp.synch.analysis.UserBehaviorAnalysisMainClass.main(UserBehaviorAnalysisMainClass.java:33)
Caused by:java.lang.ClassNotFoundException:org.apache.commons.collections.CursorableLinkedList
atjava.net.URLClassLoader$1.run(URLClassLoader.java:217)
atjava.security.AccessController.doPrivileged(Native Method)
atjava.net.URLClassLoader.findClass(URLClassLoader.java:205)
atjava.lang.ClassLoader.loadClass(ClassLoader.java:319)
atjava.lang.ClassLoader.loadClass(ClassLoader.java:264)
atjava.lang.ClassLoader.loadClassInternal(ClassLoader.java:332)
... 10more
}
# 总结1
对比可以知道，使用try-catch之后可以看到原来看不到的更重要的异常信息：Caused by: java.lang.ClassNotFoundException:org.apache.commons.collections.CursorableLinkedList
，然后我们就知道是导入commons-collections-3.2.jar这样的jar包了，然后就搞定了，不解释，一个坑爹的问题，缺少jar包，也可以说是自己粗心吧！
希望可以帮到也碰到这样问题的朋友、、、
# Time：2014-07-10 17:35:21
Jedis使用总结
前段时间细节的了解了Jedis的使用，Jedis是redis的java版本的客户端实现。
本文做个总结，主要分享如下内容：
【pipeline】【分布式的id生成器】【分布式锁【watch】【multi】】【redis分布式】
好了，一个一个来。
一、 Pipeline
官方的说明是：starts a pipeline,which is a very efficient way to send lots of command and read all the responses when you finish sending them。简单点说pipeline适用于批处理。当有大量的操作需要一次性执行的时候，可以用管道。
示例：
Jedis jedis = new Jedis(String, int);
Pipeline p = jedis.pipelined();
p.set(key,value);//每个操作都发送请求给redis-server
p.get(key,value);
p.sync();//这段代码获取所有的response
这里我进行了20w次连续操作（10w读，10w写），不用pipeline耗时：187242ms，用pipeline耗时：1188ms，可见使用管道后的性能上了一个台阶。看了代码了解到，管道通过一次性写入请求，然后一次性读取响应。也就是说jedis是：request response，request response，...；pipeline则是：request request... response response的方式。这样无需每次请求都等待server端的响应。
二、 跨jvm的id生成器
谈到这个话题，首先要知道redis-server端是单线程来处理client端的请求的。
这样来实现一个id生成器就非常简单了，只要简单的调用jdeis.incr(key);就搞定了。
你或许会问，incr是原子操作吗，能保证不会出现并发问题吗，不是说了吗，server端是单线程处理请求的。
三、 【跨jvm的锁实现【watch】【multi】】
首先说下这个问题的使用场景，有些时候我们业务逻辑是在不同的jvm进程甚至是不同的物理机上的jvm处理的。这样如何来实现不同jvm上的同步问题呢，其实我们可以基于redis来实现一个锁。
具体事务和监听请参考文章：redis学习笔记之事务
暂时找到三种实现方式：
1. 通过jedis.setnx(key,value)实现
import java.util.Random;
import org.apache.commons.pool.impl.GenericObjectPool.Config;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.Transaction;
/**
* @author Teaey
*/
public class RedisLock {
//加锁标志
public static final String LOCKED = "TRUE";
public static final long ONE_MILLI_NANOS = 1000000L;
/......余下全文>>
Jedis使用总结
前段时间细节的了解了Jedis的使用，Jedis是redis的java版本的客户端实现。
本文做个总结，主要分享如下内容：
【pipeline】【分布式的id生成器】【分布式锁【watch】【multi】】【redis分布式】
好了，一个一个来。
一、 Pipeline
官方的说明是：starts a pipeline,which is a very efficient way to send lots of command and read all the responses when you finish sending them。简单点说pipeline适用于批处理。当有大量的操作需要一次性执行的时候，可以用管道。
示例：
Jedis jedis = new Jedis(String, int);
Pipeline p = jedis.pipelined();
p.set(key,value);//每个操作都发送请求给redis-server
p.get(key,value);
p.sync();//这段代码获取所有的response
这里我进行了20w次连续操作（10w读，10w写），不用pipeline耗时：187242ms，用pipeline耗时：1188ms，可见使用管道后的性能上了一个台阶。看了代码了解到，管道通过一次性写入请求，然后一次性读取响应。也就是说jedis是：request response，request response，...；pipeline则是：request request... response response的方式。这样无需每次请求都等待server端的响应。
二、 跨jvm的id生成器
谈到这个话题，首先要知道redis-server端是单线程来处理client端的请求的。
这样来实现一个id生成器就非常简单了，只要简单的调用jdeis.incr(key);就搞定了。
你或许会问，incr是原子操作吗，能保证不会出现并发问题吗，不是说了吗，server端是单线程处理请求的。
三、 【跨jvm的锁实现【watch】【multi】】
首先说下这个问题的使用场景，有些时候我们业务逻辑是在不同的jvm进程甚至是不同的物理机上的jvm处理的。这样如何来实现不同jvm上的同步问题呢，其实我们可以基于redis来实现一个锁。
具体事务和监听请参考文章：redis学习笔记之事务
暂时找到三种实现方式：
1. 通过jedis.setnx(key,value)实现
import java.util.Random;
import org.apache.commons.pool.impl.GenericObjectPool.Config;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.Transaction;
/**
* @author Teaey
*/
public class RedisLock {
//加锁标志
public static final String LOCKED = "TRUE";
public static final long ONE_MILLI_NANOS = 1000000L;
/......余下全文>>
评论暂时关闭