Jedis使用总结【pipeline】【分布式的id生成器】【分布式锁【watch】【multi】】【redis分布式】 ...

news/2024/7/6 3:08:11

http://www.blogjava.net/masfay/archive/2012/07/03/382080.html

 

前段时间细节的了解了Jedis的使用,Jedis是redis的java版本的客户端实现。
本文做个总结,主要分享如下内容:

【pipeline】【分布式的id生成器】【分布式锁【watch】【multi】】【redis分布式】
好了,一个一个来。
一、 Pipeline
官 方的说明是:starts a pipeline,which is a very efficient way to send lots of command and read all the responses when you finish sending them。简单点说pipeline适用于批处理。当有大量的操作需要一次性执行的时候,可以用管道。
示例:

Jedis jedis =  new Jedis(String,  int);
Pipeline p = jedis.pipelined();
p.set(key,value); //每个操作 都发送请求给redis-server
p.get(key,value);

p.sync(); // 这段代码获取所有的response

这 里我进行了20w次连续操作(10w读,10w写),不用pipeline耗时:187242ms,用pipeline耗时:1188ms,可见使用管道 后的性能上了一个台阶。看了代码了解到,管道通过一次性写入请求,然后一次性读取响应。也就是说jedis是:request response,request response,...;pipeline则是:request request... response response的方式。这样无需每次请求都等待server端的响应。

二、 跨jvm的id生成器 
谈到这个话题,首先要知道redis-server端是单线程来处理client端的请求的。
这样来实现一个id生成器就非常简单了,只要简单的调用jdeis.incr(key);就搞定了。
你或许会问,incr是原子操作吗,能保证不会出现并发问题吗,前面说过,server端是单线程处理请求的。

三、 【跨jvm的锁实现【watch】【multi】】
首先说下这个问题的使用场景,有些时候我们业务逻辑是在不同的jvm进程甚至是不同的物理机上的jvm处理的。这样如何来实现不同jvm上的同步问题呢,其实我们可以基于redis来实现一个锁。
具体事务和监听请参考文章:redis学习笔记之事务
 暂时找到三种实现方式:
1. 通过jedis.setnx(key,value)实现
     import java.util.Random;


import org.apache.commons.pool.impl.GenericObjectPool.Config;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.Transaction;

/**
 * 
@author  Teaey
 
*/
public  class RedisLock {
     // 加锁标志
     public  static  final String LOCKED = "TRUE";
     public  static  final  long ONE_MILLI_NANOS = 1000000L;
     // 默认超时时间(毫秒)
     public  static  final  long DEFAULT_TIME_OUT = 3000;
     public  static JedisPool pool;
     public  static  final Random r =  new Random();
     // 锁的超时时间(秒),过期删除
     public  static  final  int EXPIRE = 5 * 60;
     static {
        pool =  new JedisPool( new Config(), "host", 6379);
    }
     private Jedis jedis;
     private String key;
     // 锁状态标志
     private  boolean locked =  false;

     public RedisLock(String key) {
         this.key = key;
         this.jedis = pool.getResource();
    }

     public  boolean lock( long timeout) {
         long nano = System.nanoTime();
        timeout *= ONE_MILLI_NANOS;
         try {
             while ((System.nanoTime() - nano) < timeout) {
                 if (jedis.setnx(key, LOCKED) == 1) {
                    jedis.expire(key, EXPIRE);
                    locked =  true;
                     return locked;
                }
                 //  短暂休眠,nano避免出现活锁
                Thread.sleep(3, r.nextInt(500));
            }
        }  catch (Exception e) {
        }
         return  false;
    }
     public  boolean lock() {
         return lock(DEFAULT_TIME_OUT);
    }

     //  无论是否加锁成功,必须调用
     public  void unlock() {
         try {
             if (locked)
                jedis.del(key);
        }  finally {
            pool.returnResource(jedis);
        }
    }
}

2. 通过事务(multi)实现
由于采纳第一张方法,第二种跟第三种实现只贴了关键代码,望谅解。^_^
     public boolean lock_2(long timeout) {

         long nano = System.nanoTime();
        timeout *= ONE_MILLI_NANOS;
         try {
             while ((System.nanoTime() - nano) < timeout) {
                Transaction t = jedis.multi();
                 //  开启事务,当server端收到multi指令
                
//  会将该client的命令放入一个队列,然后依次执行,知道收到exec指令
                t.getSet(key, LOCKED);
                t.expire(key, EXPIRE);
                String ret = (String) t.exec().get(0);
                 if (ret ==  null || ret.equals("UNLOCK")) {
                     return  true;
                }
                 //  短暂休眠,nano避免出现活锁
                Thread.sleep(3, r.nextInt(500));
            }
        }  catch (Exception e) {
        }
         return  false;
    }

3. 通过事务+监听实现
    public boolean lock_3(long timeout) {

         long nano = System.nanoTime();
        timeout *= ONE_MILLI_NANOS;
         try {
             while ((System.nanoTime() - nano) < timeout) {
                jedis.watch(key);
                 //  开启watch之后,如果key的值被修改,则事务失败,exec方法返回null
                String value = jedis.get(key);
                 if (value ==  null || value.equals("UNLOCK")) {
                    Transaction t = jedis.multi();
                    t.setex(key, EXPIRE, LOCKED);
                     if (t.exec() !=  null) {
                         return  true;
                    }
                }
                jedis.unwatch();
                 //  短暂休眠,nano避免出现活锁
                Thread.sleep(3, r.nextInt(500));
            }
        }  catch (Exception e) {
        }
         return  false;
    }

最终采用第一种实现,因为加锁只需发送一个请求,效率最高。
四、 【redis分布式】
    最后一个话题,jedis的分布式。在jedis的源码里发现了两种hash算法(MD5,MURMUR Hash(默认)),也可以自己实现redis.clients.util.Hashing接口扩展。
    List<JedisShardInfo> hosts = new ArrayList<JedisShardInfo>();

         // server1
        JedisShardInfo host1 =  new JedisShardInfo("", 6380, 2000);
         // server2
        JedisShardInfo host2 =  new JedisShardInfo("", 6381, 2000);
        hosts.add(host1);
        hosts.add(host2);
        ShardedJedis jedis =  new ShardedJedis(hosts);
        jedis.set("key", "");
 
 
http://blog.chinaunix.net/uid-20761674-id-3358715.html

http://www.niftyadmin.cn/n/3297887.html

相关文章

使用C++随机生成数据实战

题目地址 今天尝试了一下用C生成数据&#xff0c;参考了这篇文章。 主要过程是你需要先写一个标算 #include<bits/stdc.h> using namespace std; int ans; int main() {cout<<ans<<endl&#xff1b;return 0; } 接着使用这个程序 #include<iostream> #…

【缅怀妈妈系列诗歌】之十五:妈妈,请恕孩儿不孝

【缅怀妈妈系列诗歌】之十五&#xff1a;妈妈&#xff0c;请恕孩儿不孝题记&#xff1a;由于本想给妈妈的坟墓堆砌高一点、大一点、雄伟一点&#xff0c;因封建礼仪约束未能实现而感怀。谨以这一系列文章和诗歌缅怀我病逝的妈妈&#xff0c;祈祷她老人家在天能得以安息&#xf…

[Elasticsearch] 锁

字段折叠(Field Collapsing) 一个常见的需求是通过对某个特定的字段分组来展现搜索结果。我们或许希望通过对用户名分组来返回最相关的博文。对用户名分组意味着我们需要使用到terms聚合。为了对用户的全名进行分组&#xff0c;name字段需要有not_analyzed的原始值&#xff0c;…

面试题目--SQL 查100条数据中的30-40条

面试题目--SQL 查100条数据中的30-40条 分页sql查询在编程的应用很多&#xff0c;主要有存储过程分页和sql分页两种&#xff0c;我比较喜欢用sql分页&#xff0c;主要是很方便。为了提高查询效率&#xff0c;应在排序字段上加索引。 sql分页查询的原理很简单&#xff0c;比如你…

Redis集群技术分类

前言 诚如开篇文章所言&#xff0c;高效运维包括管理的专业化和技术的专业化。前两篇我们主要在说些管理相关的内容&#xff0c;本篇说一下技术专业化。希望读者朋友们能适应这个转换&#xff0c;谢谢。 互联网早在几年前就已进入Web 2.0时代&#xff0c;对后台支撑能力的要求&…

Pages.Instance is null when installing in subdirectory(ScrewTurn Wiki)

“/”应用程序中的服务器错误。 Pages.Instance is null 说明: 执行当前 Web 请求期间&#xff0c;出现未处理的异常。请检查堆栈跟踪信息&#xff0c;以了解有关该错误以及代码中导致错误的出处的详细信息。 异常详细信息: System.InvalidOperationException: Pages.Instance…

C# DES

using System;//这个是使用DES的基础using System.Security.Cryptography;//这个是处理文字编码的前提using System.Text;//以“流”的形式处理文字&#xff0c;也是微软DES算法要求的using System.IO;/// <summary>/// DES加密方法/// </summary>/// <param na…

raft算法与paxos算法相比有什么优势,使用场景有什么差异?

raft利用日志连续性对Paxos做了大量很好的简化&#xff0c;但是其中有一点有很强的误导性&#xff0c;就是新任leader对于旧日志的处理&#xff0c;他的原文描述是“Raft uses a simpler approach where it guarantees that all the committed entries from previous terms are…