基于內存和 Redis 的兩級 Java 緩存框架
簡介
J2Cache 是 OSChina 目前正在使用的兩級緩存框架(要求至少 Java 8)。***級緩存使用內存(同時支持 Ehcache 2.x、Ehcache 3.x 和 Caffeine),第二級緩存使用 Redis(推薦)/Memcached 。 由于大量的緩存讀取會導致 L2 的網絡成為整個系統的瓶頸,因此 L1 的目標是降低對 L2 的讀取次數。 該緩存框架主要用于集群環境中。單機也可使用,用于避免應用重啟導致的緩存冷啟動后對后端業務的沖擊。
J2Cache 已經有 Python 語言版本了,詳情請看 https://gitee.com/ld/Py3Cache
視頻介紹:http://v.youku.com/v_show/id_XNzAzMTY5MjUy.html
J2Cache 的兩級緩存結構
L1: 進程內緩存(caffeineehcache)
L2: Redis/Memcached 集中式緩存
數據讀取
- 讀取順序 -> L1 -> L2 -> DB
- 數據更新
- 從數據庫中讀取***數據,依次更新 L1 -> L2 ,發送廣播清除某個緩存信息
- 接收到廣播(手工清除緩存 & 一級緩存自動失效),從 L1 中清除指定的緩存信息
J2Cache 配置
配置文件位于 core/resources 目錄下,包含三個文件:
- j2cache.properties J2Cache 核心配置文件,可配置兩級的緩存,Redis 服務器、連接池以及緩存廣播的方式
- caffeine.properties 如果一級緩存選用 Caffeine ,那么該文件用來配置緩存信息
- ehcache.xml Ehcache 的配置文件,配置說明請參考 Ehcache 文檔
- ehcache3.xml Ehcache3 的配置文件,配置說明請參考 Ehcache 文檔
- network.xml JGroups 網絡配置,如果使用 JGroups 組播的話需要這個文件,一般無需修改
實際使用過程需要將所需的配置文件復制到應用類路徑中,如 WEB-INF/classes 目錄。
J2Cache 運行時所需 jar 包請查看 core/pom.xml
測試方法
- 安裝 Redis
- git clone https://gitee.com/ld/J2Cache
- 修改 core/resource/j2cache.properties 配置使用已安裝的 Redis 服務器
- 在命令行中執行 mvn package -DskipTests=true 進行項目編譯
- 打開多個命令行窗口,同時運行 runtest.sh
- 在 > 提示符后輸入 help 查看命令,并進行測試
使用方法
J2Cache 默認使用 Caffeine 作為一級緩存,使用 Redis 作為二級緩存。你還可以選擇 Ehcache2 和 Ehcache3 作為一級緩存。
準備工作
- 安裝 Redis
- 新建一個基于 Maven 的 Java 項目
一. 引用 Maven
中央倉庫地址:https://mvnrepository.com/artifact/net.oschina.j2cache/j2cache-core
二. 準備配置
拷貝 j2cache.properties 和 caffeine.properties 到你項目的源碼目錄,并確保這些文件會被編譯到項目的 classpath 中。如果你選擇了 ehcache 作為一級緩存,需要拷貝 ehcache.xml 或者 ehcache3.xml 到源碼目錄(后者對應的是 Ehcache 3.x 版本),這些配置文件的模板可以從 https://gitee.com/ld/J2Cache/tree/master/core/resources 這里獲取。
使用你喜歡的文本編輯器打開 j2cache.properties 并找到 redis.hosts 項,將其信息改成你的 Redis 服務器所在的地址和端口。
我們建議緩存在使用之前都需要預先設定好緩存大小及有效時間,使用文本編輯器打開 caffeine.properties 進行緩存配置,配置方法請參考文件中的注釋內容。
例如:default = 1000,30m #定義緩存名 default ,對象大小 1000,緩存數據有效時間 30 分鐘。 你可以定義多個不同名稱的緩存。
三. 編寫代碼
Test.java
- public static void main(String[] args) {
- CacheChannel cache = J2Cache.getChannel();
- //緩存操作
- cache.set("default", "1", "Hello J2Cache");
- System.out.println(cache.get("default", "1"));
- cache.evict("default", "1");
- System.out.println(cache.get("default", "1"));
- cache.close();
- }
編譯并運行查看結果,更多的用法請參考 CacheChannel.java 接口的方法。
請注意 cache.close() 方法只需在程序退出時調用。
四. 動態構建 J2Cache 實例
- J2CacheConfig config = new J2CacheConfig();
- //填充 config 變量所需的配置信息
- J2CacheBuilder builder = J2CacheBuilder.init(config);
- CacheChannel channel = builder.getChannel();
- //進行緩存的操作
- channel.close();
五. 集群測試
為了方便測試集群模式下 J2Cache 的運行,我們提供了一個命令行小程序,請參考此頁面前面的 “測試方法”。
常見問題
1、J2Cache 的使用場景是什么?
首先你的應用是運行在集群環境,使用 J2Cache 可以有效降低節點間的數據傳輸量;其次單節點使用 J2Cache 可以避免應用重啟后對后端業務系統的沖擊。
2、為什么不能在程序中設置緩存的有效期
在程序中定義緩存數據的有效期會導致緩存不可控,一旦數據出問題無從查起,因此 J2Cache 的所有緩存的有效期都必須在 一級緩存 的配置中預設好再使用。
3、如何使用 JGroups 組播方式(無法在云主機中使用)
首先修改 j2cache.properties 中的 j2cache.broadcast 值為 jgroups,然后在 maven 中引入
- <dependency>
- <groupId>org.jgroups</groupId>
- <artifactId>jgroups</artifactId>
- <version>3.6.13.Final</version>
- </dependency>
4、如何使用 ehcache 作為一級緩存
首先修改 j2cache.properties 中的 j2cache.L1.provider_class 為 ehcache 或者 ehcache3,然后拷貝 ehcache.xml 或者 ehcache3.xml 到類路徑,并配置好緩存,需要在項目中引入對 ehcache 的支持:
- <dependency><!-- Ehcache 2.x //-->
- <groupId>net.sf.ehcache</groupId>
- <artifactId>ehcache</artifactId>
- <version>2.10.4</version>
- </dependency>
- <dependency><!-- Ehcache 3.x //-->
- <groupId>org.ehcache</groupId>
- <artifactId>ehcache</artifactId>
- <version>3.4.0</version>
- </dependency>
5、如何使用 RabbitMQ 作為消息通知
首先修改 j2cache.properties 中的 j2cache.broadcast 為 rabbitmq,然后在 j2cache.properties 中配置 rabbitmq.xxx 相關信息。
需要在項目中引入對 rabbitmq 的支持:
- <dependency>
- <groupId>com.rabbitmq</groupId>
- <artifactId>amqp-client</artifactId>
- <version>5.3.0</version>
- </dependency>
6、如何使用 RocketMQ 作為消息通知
首先修改 j2cache.properties 中的 j2cache.broadcast 為 rocketmq,然后在 j2cache.properties 中配置 rocketmq.xxx 相關信息。
需要在項目中引入對 rabbitmq 的支持:
- <dependency>
- <groupId>org.apache.rocketmq</groupId>
- <artifactId>rocketmq-client</artifactId>
- <version>4.3.0</version>
- <scope>provided</scope>
- </dependency>
7、如何使用 memcached 作為二級緩存
首先修改 j2cache.properties 中的 j2cache.L2.provider_class 為 memcached,然后在 j2cache.properties 中配置 memcached.xxx 相關信息。
需要在項目中引入對 memcached 的支持:
- <dependency>
- <groupId>com.googlecode.xmemcached</groupId>
- <artifactId>xmemcached</artifactId>
- <version>2.4.5</version>
- </dependency>
8、為什么 J2Cache 初始化時,連接本機的 Redis 非常慢,要 5 秒以上?
如果出現這種情況,請在系統 hosts 里配置機器名和IP地址的對應關系,例如:
- 127.0.0.1 localhost
- 127.0.0.1 winter-notebook.local
- ::1 localhost
- ::1 winter-notebook.local
9、使用何種 Redis 的存儲模式***? generic 還是 hash ?
推薦使用 generic 存儲模式,這也是 J2Cache 默認的存儲模式,hash 模式***的問題是無法單獨對 key 進行 expire 設置。
項目地址
https://gitee.com/ld/J2Cache