存储技术
MinIO
是在GNU Affero
通用公共许可证 v3.0 下发布的高性能对象存储。它与 Amazon S3 云存储服务 API 兼容。使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。
官方文档:https://docs.min.io/
中文文档:http://docs.minio.org.cn/docs/
GitHub 地址:https://github.com/minio/minio
特点:
例如,一个 16 节点的 Minio 集群,每个节点 16 块硬盘,就算 8 台服務器宕机,这个集群仍然是可读的,不过你需要 9 台服務器才能写数据。
【温馨提示】只要遵守分布式 Minio 的限制,你可以组合不同的节点和每个节点几块硬盘。比如,你可以使用 2 个节点,每个节点 4 块硬盘,也可以使用 4 个节点,每个节点两块硬盘,诸如此类。
MinIO 的优点如下:
S3
——Simple Storage Service,简单存储服务,这个概念是 Amazon 在 2006 年推出的,对象存储
就是从那个时候诞生的。S3 提供了一个简单 Web 服务接口,可用于随时在 Web 上的任何位置存储和检索任何数量的数据。Object
——存储到 Minio 的基本对象,如文件、字节流,Anything…Bucket
——用来存储 Object 的逻辑空间。每个 Bucket 之间的数据是相互隔离的。Drive
——部署 Minio 时设置的磁盘,Minio 中所有的对象数据都会存储在 Drive 里。Set
——一组 Drive 的集合,分布式部署根据集群规模自动划分一个或多个 Set ,每个 Set 中的 Drive 分布在不同位置。Set /Drive 的关系
纠删码(Erasure Code)简称 EC,是一种数据保护方法,它将数据分割成片段,把冗余数据块扩展、编码,并将其存储在不同的位置,比如磁盘、存储节点或者其它地理位置。
该模式下,Minio 只在一台服务器上搭建服务,且数据都存在单块磁盘上,该模式存在单点风险,主要用作开发、测试等使用
该模式下,Minio 在一台服务器上搭建服务,但数据分散在多块(大于 4 块)磁盘上,提供了数据上的安全保障。
该模式是 Minio 服务最常用的架构,通过共享一个 access_key 和 secret_key,在多台服务器上搭建服务,且数据分散在多块(大于 4 块,无上限)磁盘上,提供了较为强大的数据冗余机制(Reed-Solomon 纠删码)。
| 主机名 | IP | data |
|-------------------|-----------------|-----------------------------------------|
| local-168-182-110 | 192.168.182.110 | /opt/bigdata/minio/data/export{1,2,3,4} |
| local-168-182-111 | 192.168.182.111 | /opt/bigdata/minio/data/export{1,2,3,4} |
| local-168-182-112 | 192.168.182.112 | /opt/bigdata/minio/data/export{1,2,3,4} |
mkdir -p /opt/bigdata/minio ; cd /opt/bigdata/minio
# 下载rpm包进行部署
#wget https://dl.min.io/server/minio/release/linux-amd64/archive/minio-20220802235916.0.0.x86_64.rpm -O minio.rpm
# yum -y install minio.rpm
# 下载二进制包部署
wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x /opt/bigdata/minio
# 加在/etc/profile
export PATH=$PATH:/opt/bigdata/minio
minio --help
# 不重启,直接刷新磁盘数据总线,获取新加的磁盘
for host in $(ls /sys/class/scsi_host) ; do echo "- - -" > /sys/class/scsi_host/$host/scan; done
lsblk
# 格式化
mkfs.ext4 /dev/sdb
mkfs.ext4 /dev/sdc
mkfs.ext4 /dev/sdd
mkfs.ext4 /dev/sde
# 挂载
mount /dev/sdb /opt/bigdata/minio/data/export1
mount /dev/sdc /opt/bigdata/minio/data/export2
mount /dev/sdd /opt/bigdata/minio/data/export3
mount /dev/sde /opt/bigdata/minio/data/export4
【温馨提示】磁盘大小必须>1G,这里我添加的是 4*2G 的盘
Minio 默认9000
端口,在配置文件中加入–address “127.0.0.1:9029” 可更改端口
MINIO_ACCESS_KEY
:用户名,长度最小是 5 个字符MINIO_SECRET_KEY
:密码,密码不能设置过于简单,不然 minio 会启动失败,长度最小是 8 个字符–config-dir
:指定集群配置文件目录–address
:api 的端口,默认是9000
--console-address
:web 端口,默认随机
编写启动脚本(/opt/bigdata/minio/run.sh
)
#!/bin/bash
# 创建日志存储目录
mkdir -p /opt/bigdata/minio/logs
# 分别在三个节点上创建存储目录
mkdir -p /opt/bigdata/minio/data/export{1,2,3,4}
# 创建配置目录
mkdir -p /etc/minio
export MINIO_ROOT_USER=admin
export MINIO_ROOT_PASSWORD=admin123456
# 在三台机器上都执行该文件,即以分布式的方式启动了MINIO
# --address "0.0.0.0:9000" 挂载9001端口为api端口(如Java客户端)访问的端口
# --console-address ":9000" 挂载9000端口为web端口;
/opt/bigdata/minio/minio server --address 0.0.0.0:9000 --console-address 0.0.0.0:9001 --config-dir /etc/minio
http://local-168-182-110/opt/bigdata/minio/data/export1
http://local-168-182-110/opt/bigdata/minio/data/export2
http://local-168-182-110/opt/bigdata/minio/data/export3
http://local-168-182-110/opt/bigdata/minio/data/export4
http://local-168-182-111/opt/bigdata/minio/data/export1
http://local-168-182-111/opt/bigdata/minio/data/export2
http://local-168-182-111/opt/bigdata/minio/data/export3
http://local-168-182-111/opt/bigdata/minio/data/export4
http://local-168-182-112/opt/bigdata/minio/data/export1
http://local-168-182-112/opt/bigdata/minio/data/export2
http://local-168-182-112/opt/bigdata/minio/data/export3
http://local-168-182-112/opt/bigdata/minio/data/export4 > /opt/bigdata/minio/logs/minio_server.log
【温馨提示】下面脚本复制时 后不要有空格,还有就是上面的目录是对应的一块磁盘,而非简单的在/opt/bigdata/minio/data 目录下创建四个目录,要不然会报如下错误,看提示以为是 root 权限问题。
part of root disk, will not be used (*errors.errorString)
# 在三台机器上都执行该文件,即以分布式的方式启动了MINIO
sh /opt/bigdata/minio/run.sh
添加或修改 minio.service,通过 systemctl 启停服务(推荐)
WorkingDirectory
:二进制文件目录ExecStart
:指定集群启动脚本
# 如果使用rpm安装,minio.service就会自动生成,只要修改就行
cat > /usr/lib/systemd/system/minio.service <
修改文件权限
chmod +x /usr/lib/systemd/system/minio.service && chmod +x /opt/bigdata/minio/minio && chmod +x /opt/bigdata/minio/run.sh
# 将文件copy其它节点local-168-182-111,local-168-182-112
scp -r /usr/lib/systemd/system/minio.servicee local-168-182-111:/usr/lib/systemd/system/minio.service
scp -r /opt/bigdata/minio local-168-182-111:/opt/bigdata/
scp -r /usr/lib/systemd/system/minio.service local-168-182-112:/usr/lib/systemd/system/minio.service
scp -r /opt/bigdata/minio local-168-182-112:/opt/bigdata/
启动集群
#重新加载服务
systemctl daemon-reload
#启动服务
systemctl start minio
#加入自启动
systemctl enable minio
访问 MinIO,三个节点都可以访问
http://local-168-182-110:9001/
http://local-168-182-111:9001/
http://local-168-182-112:9001/
账号密码:admin/admin123456
单独对每个节点进行访问显然不合理,通过使用 nginx 代理,进行负载均衡则很有必要。简单的配置如下:
# 安装nginx
yum install epel-release -y
yum install nginx -y
systemctl start nginx
systemctl status nginx
systemctl enable nginx
添加配置文件,配置内容如下:
vi /etc/nginx/conf.d/minio.conf
upstream minio_api {
server 192.168.182.110:9000;
server 192.168.182.111:9000;
server 192.168.182.112:9000;
}
upstream minio_console {
server 192.168.182.110:9001;
server 192.168.182.111:9001;
server 192.168.182.112:9001;
}
server{
listen 19000;
server_name 192.168.182.110;
ignore_invalid_headers off;
client_max_body_size 0;
proxy_buffering off;
location / {
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_connect_timeout 300;
proxy_http_version 1.1;
chunked_transfer_encoding off;
proxy_ignore_client_abort on;
proxy_pass http://minio_api;
}
}
server{
listen 19001;
server_name 192.168.182.110;
ignore_invalid_headers off;
client_max_body_size 0;
proxy_buffering off;
location / {
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_connect_timeout 300;
proxy_http_version 1.1;
chunked_transfer_encoding off;
proxy_ignore_client_abort on;
proxy_pass http://minio_console;
}
}
重启加载配置
nginx -t
nginx -s reload
#或者
systemctl reload nginx
访问:http://local-168-182-110:19001
cd /opt/bigdata/minio/
wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
./mc --help
MinIO 服务器显示 URL,访问权和秘密密钥。
【用法】
mc config host add [YOUR-ACCESS-KEY] [YOUR-SECRET-KEY]
【示例】
cd /opt/bigdata/minio/
# 明文输入
./mc config host add minio http://local-168-182-110:19000 admin admin123456
# 密文输入(推荐)
./mc config host add minio http://local-168-182-110:19000
Enter Access Key: admin
Enter Secret Key: admin123456
cd /opt/bigdata/minio/
# 获取已配置别名“ minio”的MinIO服务器信息
./mc admin info minio
# 添加外壳别名以获取信息,以便恢复。
alias minfo='/opt/bigdata/minio/mc admin info'
alias mheal='/opt/bigdata/minio/mc admin heal'
更多示例操作,可以参考官方文档:http://docs.minio.org.cn/docs/master/minio-admin-complete-guide
【温馨提示】如果有条件,也可以使用腾讯云的
cos(Cloud Object Storage:云对象存储)
和阿里云的oss(Object Storage Service:对象存储服务)
等公有云产品。
到这里 MinIO 的基本概念和环境部署就到这结束了,后续会更新 MinIO 的实战操作,请小伙伴耐心等待,有疑问的小伙伴欢迎给我留言哦~
审核编辑:汤梓红
全部0条评论
快来发表一下你的评论吧 !