Minio + Docker 搭建屬于自己的OSS存儲(chǔ)服務(wù)
現(xiàn)在 OSS 服務(wù)算是一個(gè)基礎(chǔ)服務(wù)了，很多云服務(wù)廠商都有提供這樣的服務(wù)，價(jià)格也不貴，松哥自己的 www.javaboy.org 用的就是類(lèi)似的服務(wù)。
不過(guò)對(duì)于中小公司來(lái)說(shuō)，除了購(gòu)買(mǎi) OSS 服務(wù)之外，也可以自己搭建專(zhuān)業(yè)的文件服務(wù)器，自己搭建專(zhuān)門(mén)的文件服務(wù)器的話，曾經(jīng)比較專(zhuān)業(yè)的做法是 FastDFS，松哥之前也專(zhuān)門(mén)為之錄過(guò)視頻發(fā)在 B 站上，感興趣的小伙伴可以自行查看。不過(guò) FastDFS 搭建比較麻煩，非常容易出錯(cuò)，所以對(duì)各位小伙伴來(lái)說(shuō)多多少少有一點(diǎn)門(mén)檻。
松哥在之前的文章錄制的一些項(xiàng)目視頻中，如果涉及到文件上傳，基本上都是保存在項(xiàng)目本地，這種方式比較省事，但是安全性不高。
所以，今天給大伙介紹一個(gè)較好的玩意 MinIO，看看這個(gè)工具帶給我們什么驚喜。
1. MinIO 簡(jiǎn)介
MinIO 是一個(gè)基于 Apache License v2.0 開(kāi)源協(xié)議的對(duì)象存儲(chǔ)服務(wù)，它兼容亞馬遜 S3 云存儲(chǔ)服務(wù)接口，非常適合于存儲(chǔ)大容量非結(jié)構(gòu)化的數(shù)據(jù)，例如圖片、視頻、日志文件、備份數(shù)據(jù)和容器/虛擬機(jī)鏡像等，而一個(gè)對(duì)象文件可以是任意大小，從幾 KB 到最大 5T 不等。
MinIO 是一個(gè)非常輕量的服務(wù)，可以很簡(jiǎn)單的和其他應(yīng)用的結(jié)合，類(lèi)似 NodeJS, Redis 或者 MySQL。
簡(jiǎn)單來(lái)說(shuō)，可以使用 MinIO 來(lái)搭建一個(gè)對(duì)象存儲(chǔ)服務(wù)，而且 MinIO 的 Java 客戶端和亞馬遜的 S3 云存儲(chǔ)服務(wù)客戶端接口兼容，換句話說(shuō)，你會(huì)往 MinIO 上存數(shù)據(jù)，就會(huì)往 S3 上存數(shù)據(jù)。
MinIO 的特點(diǎn)：
- 兼容 Amazon S3：可以使用 MinIO SDK，MinIO Client，AWS SDK 和 AWS CLI 訪問(wèn) MinIO 服務(wù)器。
- 較強(qiáng)的數(shù)據(jù)保護(hù)能力：MinIO 使用 Minio Erasure Code 來(lái)防止硬件故障。
- 高度可用：MinIO 服務(wù)器可以容忍分布式設(shè)置中高達(dá)（N/2)-1 節(jié)點(diǎn)故障。
- 支持 Lambda 計(jì)算。
- 具有加密和防篡改功能：MinIO 為加密數(shù)據(jù)提供了機(jī)密性，完整性和真實(shí)性保證，而且性能開(kāi)銷(xiāo)微乎其微。使用 AES-256-GCM，ChaCha20-Poly1305 和 AES-CBC 支持服務(wù)器端和客戶端加密。
- 可對(duì)接后端存儲(chǔ)：除了 MinIO 自己的文件系統(tǒng)，還支持 DAS、 JBODs、NAS、Google 云存儲(chǔ)和 Azure Blob 存儲(chǔ)。
2. MinIO 安裝
不廢話了，趕緊裝一個(gè)體驗(yàn)一把吧。
為了省事，咱們就直接用 docker 來(lái)安裝吧，如果你對(duì) docker 還不熟悉，公眾號(hào)后臺(tái)回復(fù) docker 獲取松哥的 docker 教程。
我們執(zhí)行如下命令，安裝 MinIO：
docker run -p 9000:9000 -p 9001:9001 -d minio/minio server /data --console-address ":9000" --address ":9001"這個(gè)啟動(dòng)命令中配置了兩個(gè)端口：console-address 是后臺(tái)管理的網(wǎng)頁(yè)端口；address 則是 API 通信端口。以上面的啟動(dòng)腳本為例，項(xiàng)目啟動(dòng)成功后，網(wǎng)頁(yè)上的訪問(wèn)端口是 9000，如果我們通過(guò) Java 代碼上傳文件，通信端口則是 9001。
項(xiàng)目啟動(dòng)成功后，瀏覽器地址欄輸入 http://127.0.0.1:9000/login 即可訪問(wèn)到 MinIO 的后端頁(yè)面：
圖片
默認(rèn)的登錄用戶名和密碼均為 minioadmin。
登錄成功之后，我們首先創(chuàng)建一個(gè) bucket，將來(lái)我們上傳的文件都處于 bucket 之中，如下：
圖片
圖片
創(chuàng)建成功之后，我們還需要設(shè)置一下桶的讀取權(quán)限，確保文件將來(lái)上傳成功之后可以讀取到，點(diǎn)擊左上角的設(shè)置按鈕進(jìn)行設(shè)置，如下：
圖片
設(shè)置完成后，接下來(lái)我們就可以往這個(gè)桶中上傳資源了，如下圖：
圖片
上傳完成后，就可以看到剛剛上傳的文件了：
圖片
上傳成功后，點(diǎn)擊文件，然后點(diǎn)擊右邊的 Share 按鈕會(huì)彈出來(lái)文件的訪問(wèn)鏈接，由于我們已經(jīng)設(shè)置了文件可讀，因此可以不用管這里的鏈接有效期了，直接通過(guò)路徑的前面部分就可以訪問(wèn)到剛剛上傳的圖片了，如下：
圖片
圖片
現(xiàn)在文件就可上傳可訪問(wèn)了。是不是比 FastDFS 容易多了！
不過(guò)前面這種安裝方式其實(shí)有點(diǎn)小問(wèn)題，因?yàn)槲覀儧](méi)有為 docker 容器設(shè)置數(shù)據(jù)卷，所以如果你把 docker 容器不小心刪除了，那么數(shù)據(jù)也就沒(méi)了！
所以我們要設(shè)置數(shù)據(jù)卷。
修正后的 docker 腳本如下：
docker run -p 9000:9000 -p 9001:9001 -d --name minio -v /Users/sang/minio/data:/data -v /Users/sang/minio/config:/root/.minio -e "MINIO_ROOT_USER=javaboy" -e "MINIO_ROOT_PASSWORD=123@45678" minio/minio server /data --console-address ":9000" --address ":9001"主要是加了數(shù)據(jù)卷映射功能，將 MinIO 的數(shù)據(jù)和配置文件映射到宿主機(jī)上，這樣將來(lái)即使容器刪除了，數(shù)據(jù)也都還在。
注意上面也自定義了登錄用戶名和密碼。
按照上面的命令，重新創(chuàng)建容器之后，我們也創(chuàng)建一個(gè)桶并上傳文件，上傳成功之后，我們就可以在本地對(duì)應(yīng)的文件夾看到我們上傳的文件，如下：
圖片
3. 整合 Spring Boot
接下來(lái)我們?cè)賮?lái)看看在 Spring Boot 中如何玩 MinIO。
首先我們創(chuàng)建一個(gè) Spring Boot 項(xiàng)目，引入 Web 依賴。
項(xiàng)目創(chuàng)建成功之后，我們?cè)賮?lái)手動(dòng)添加一下 MinIO 的依賴，如下：
<dependency>
<groupId>io.minio</groupId>
<artifactId>minio</artifactId>
<version>8.2.1</version>
</dependency>接下來(lái)我們來(lái)配置一下 application.yaml，配置一下文件上傳所需要的基本信息：
minio:
endpoint: http://localhost:9001
accessKey: javaboy
secretKey: 123@45678
nginxHost: http://local.javaboy.org:9001這里四個(gè)屬性：
- endpoint：這是 MinIO 的 API 通信地址。
- accessKey 和 secretKey 是通信的用戶名和密碼，這跟網(wǎng)頁(yè)上登錄時(shí)候的用戶名密碼一致。
- nginxHost：這個(gè)配置用來(lái)生成上傳文件的訪問(wèn)路徑。對(duì)于這個(gè)路徑，有的小伙伴可能會(huì)有疑問(wèn)，nginxHost 不就是 endpoint 嗎？為什么還要單獨(dú)配置？因?yàn)閷?duì)于文件服務(wù)器而言，我們上傳文件是通過(guò) MinIO，但是訪問(wèn)的時(shí)候不一定通過(guò) MinIO，我們可能會(huì)自己搭建一個(gè) Nginx 服務(wù)器，通過(guò) Nginx 服務(wù)器來(lái)訪問(wèn)上傳后的資源，大家知道 Nginx 非常擅長(zhǎng)于做這個(gè)事情，效率非常高。所以這里的 nginxHost 其實(shí)是指 Nginx 的訪問(wèn)路徑。
接下來(lái)我們提供一個(gè) MinioProperties 來(lái)接收這里的四個(gè)屬性，如下：
@ConfigurationProperties(prefix = "minio")
public class MinioProperties {
/**
* 連接地址
*/
private String endpoint;
/**
* 用戶名
*/
private String accessKey;
/**
* 密碼
*/
private String secretKey;
/**
* 域名
*/
private String nginxHost;
public String getEndpoint() {
return endpoint;
}
public void setEndpoint(String endpoint) {
this.endpoint = endpoint;
}
public String getAccessKey() {
return accessKey;
}
public void setAccessKey(String accessKey) {
this.accessKey = accessKey;
}
public String getSecretKey() {
return secretKey;
}
public void setSecretKey(String secretKey) {
this.secretKey = secretKey;
}
public String getNginxHost() {
return nginxHost;
}
public void setNginxHost(String nginxHost) {
this.nginxHost = nginxHost;
}
}將 application.yaml 中相關(guān)的配置注入到這個(gè)配置類(lèi)中來(lái)。
接下來(lái)我們需要提供一個(gè) MinIOClient，通過(guò)這個(gè)客戶端工具可以操作 MinIO，如下：
@Configuration
@EnableConfigurationProperties(MinioProperties.class)
public class MinioConfig {
@Autowired
private MinioProperties minioProperties;
/**
* 獲取MinioClient
*/
@Bean
public MinioClient minioClient() {
return MinioClient.builder()
.endpoint(minioProperties.getEndpoint())
.credentials(minioProperties.getAccessKey(), minioProperties.getSecretKey())
.build();
}
}這個(gè)也沒(méi)啥好說(shuō)的，傳入通信地址以及用戶名密碼，就可以構(gòu)建出一個(gè) MinioClient 出來(lái)。
當(dāng)文件上傳成功之后，我們可以通過(guò) MinIO 去訪問(wèn)，也可以通過(guò) Nginx 訪問(wèn)，所以接下來(lái)我們就需要提供一個(gè)類(lèi)，來(lái)封裝這兩個(gè)地址：
public class UploadResponse {
private String minIoUrl;
private String nginxUrl;
public UploadResponse() {
}
public UploadResponse(String minIoUrl, String nginxUrl) {
this.minIoUrl = minIoUrl;
this.nginxUrl = nginxUrl;
}
public String getMinIoUrl() {
return minIoUrl;
}
public void setMinIoUrl(String minIoUrl) {
this.minIoUrl = minIoUrl;
}
public String getNginxUrl() {
return nginxUrl;
}
public void setNginxUrl(String nginxUrl) {
this.nginxUrl = nginxUrl;
}
}再來(lái)提供一個(gè) MinIO 文件上傳工具類(lèi)：
@Component
public class MinioUtil {
@Autowired
private MinioProperties minioProperties;
@Autowired
private MinioClient client;
/**
* 創(chuàng)建bucket
*/
public void createBucket(String bucketName) throws Exception {
if (!client.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build())) {
client.makeBucket(MakeBucketArgs.builder().bucket(bucketName).build());
}
}
/**
* 上傳文件
*/
public UploadResponse uploadFile(MultipartFile file, String bucketName) throws Exception {
//判斷文件是否為空
if (null == file || 0 == file.getSize()) {
return null;
}
//判斷存儲(chǔ)桶是否存在 不存在則創(chuàng)建
createBucket(bucketName);
//文件名
String originalFilename = file.getOriginalFilename();
//新的文件名 = 存儲(chǔ)桶文件名_時(shí)間戳.后綴名
assert originalFilename != null;
SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd");
String fileName = bucketName + "_" +
System.currentTimeMillis() + "_" + format.format(new Date()) + "_" + new Random().nextInt(1000) +
originalFilename.substring(originalFilename.lastIndexOf("."));
//開(kāi)始上傳
client.putObject(
PutObjectArgs.builder().bucket(bucketName).object(fileName).stream(
file.getInputStream(), file.getSize(), -1)
.contentType(file.getContentType())
.build());
String url = minioProperties.getEndpoint() + "/" + bucketName + "/" + fileName;
String urlHost = minioProperties.getNginxHost() + "/" + bucketName + "/" + fileName;
return new UploadResponse(url, urlHost);
}
/**
* 獲取全部bucket
*
* @return
*/
public List<Bucket> getAllBuckets() throws Exception {
return client.listBuckets();
}
/**
* 根據(jù)bucketName獲取信息
*
* @param bucketName bucket名稱(chēng)
*/
public Optional<Bucket> getBucket(String bucketName) throws IOException, InvalidKeyException, NoSuchAlgorithmException, InsufficientDataException, InvalidResponseException, InternalException, ErrorResponseException, ServerException, XmlParserException, ServerException {
return client.listBuckets().stream().filter(b -> b.name().equals(bucketName)).findFirst();
}
/**
* 根據(jù)bucketName刪除信息
*
* @param bucketName bucket名稱(chēng)
*/
public void removeBucket(String bucketName) throws Exception {
client.removeBucket(RemoveBucketArgs.builder().bucket(bucketName).build());
}
/**
* 獲取?件外鏈
*
* @param bucketName bucket名稱(chēng)
* @param objectName ?件名稱(chēng)
* @param expires 過(guò)期時(shí)間 <=7
* @return url
*/
public String getObjectURL(String bucketName, String objectName, Integer expires) throws Exception {
return client.getPresignedObjectUrl(GetPresignedObjectUrlArgs.builder().bucket(bucketName).object(objectName).expiry(expires).build());
}
/**
* 獲取?件
*
* @param bucketName bucket名稱(chēng)
* @param objectName ?件名稱(chēng)
* @return ?進(jìn)制流
*/
public InputStream getObject(String bucketName, String objectName) throws Exception {
return client.getObject(GetObjectArgs.builder().bucket(bucketName).object(objectName).build());
}
/**
* 上傳?件
*
* @param bucketName bucket名稱(chēng)
* @param objectName ?件名稱(chēng)
* @param stream ?件流
* @throws Exception https://docs.minio.io/cn/java-client-api-reference.html#putObject
*/
public void putObject(String bucketName, String objectName, InputStream stream) throws
Exception {
client.putObject(PutObjectArgs.builder().bucket(bucketName).object(objectName).stream(stream, stream.available(), -1).contentType(objectName.substring(objectName.lastIndexOf("."))).build());
}
/**
* 上傳?件
*
* @param bucketName bucket名稱(chēng)
* @param objectName ?件名稱(chēng)
* @param stream ?件流
* @param size ??
* @param contextType 類(lèi)型
* @throws Exception https://docs.minio.io/cn/java-client-api-reference.html#putObject
*/
public void putObject(String bucketName, String objectName, InputStream stream, long
size, String contextType) throws Exception {
client.putObject(PutObjectArgs.builder().bucket(bucketName).object(objectName).stream(stream, size, -1).contentType(contextType).build());
}
/**
* 獲取?件信息
*
* @param bucketName bucket名稱(chēng)
* @param objectName ?件名稱(chēng)
* @throws Exception https://docs.minio.io/cn/java-client-api-reference.html#statObject
*/
public StatObjectResponse getObjectInfo(String bucketName, String objectName) throws Exception {
return client.statObject(StatObjectArgs.builder().bucket(bucketName).object(objectName).build());
}
/**
* 刪除?件
*
* @param bucketName bucket名稱(chēng)
* @param objectName ?件名稱(chēng)
* @throws Exception https://docs.minio.io/cn/java-client-apireference.html#removeObject
*/
public void removeObject(String bucketName, String objectName) throws Exception {
client.removeObject(RemoveObjectArgs.builder().bucket(bucketName).object(objectName).build());
}
}都是一些常規(guī)的 API 調(diào)用，我就不逐行解釋了，接下來(lái)我們來(lái)一個(gè)文件上傳接口：
@RestController
public class FileUploadController {
@Autowired
MinioUtil minioUtil;
@PostMapping("/upload")
public String fileUpload(MultipartFile file) throws Exception {
UploadResponse bucket01 = minioUtil.uploadFile(file, "bucket01");
System.out.println("bucket01.getMinIoUrl() = " + bucket01.getMinIoUrl());
System.out.println("bucket01.getNginxUrl() = " + bucket01.getNginxUrl());
return bucket01.getMinIoUrl();
}
}好啦，大功告成。
接下來(lái)啟動(dòng) Spring Boot 項(xiàng)目，然后調(diào)用這個(gè)接口上傳文件，上傳成功后，控制臺(tái)會(huì)打印如下信息：
這就表示文件上傳成功了。
4. 配置 nginx
前面提到了 MinIO 可以結(jié)合 Nginx 來(lái)使用，那我們這里就來(lái)配一配 Nginx 看看。
為了省事，Nginx 我也選擇安裝到 docker 容器中，但是前面安裝 MinIO 時(shí)，我們已經(jīng)做了數(shù)據(jù)卷映射，即上傳到 MinIO 的文件實(shí)際上是保存在宿主機(jī)的，所以現(xiàn)在也得給 Nginx 配置數(shù)據(jù)卷，將來(lái)讓 Nginx 也去 /Users/sang/minio/data 路徑下查找文件。
Nginx 安裝指令如下：
docker run --name nginx01 -p 8888:80 -v /Users/sang/minio/data:/usr/share/nginx/html:ro -d nginx這里兩個(gè)關(guān)鍵點(diǎn)：
- 設(shè)置 Nginx 端口為 8888。
- 將 MinIO 映射到宿主機(jī)的數(shù)據(jù)卷，再次掛載到 Nginx 上去。
大家知道，默認(rèn)情況下，當(dāng)我們?cè)L問(wèn) Nginx 的時(shí)候，Nginx 給我們展示出來(lái)的數(shù)據(jù)其實(shí)就是 /usr/share/nginx/html 目錄下的，現(xiàn)在該目錄其實(shí)就相當(dāng)于我宿主機(jī)的 /Users/sang/minio/data 目錄，所以我現(xiàn)在都不用修改 Nginx 的配置了，裝好之后直接使用 Nginx 即可。
好啦，接下來(lái)我們修改一下 application.yaml，如下：
minio:
endpoint: http://localhost:9001
accessKey: javaboy
secretKey: 123@45678
nginxHost: http://local.javaboy.org:8888改完之后，再次上傳文件，此時(shí)打印出來(lái)的文件訪問(wèn)路徑如下：
圖片
現(xiàn)在我們通過(guò)這個(gè) Nginx 路徑也能訪問(wèn)到剛剛上傳的文件了。
