对象存储配置及常见问题

如何通过环境变量配置并连接个各厂商的对象存储,以及常见的配置问题

对象存储服务配置介绍

这里提供了 FastGPT 目前支持的对象存储厂商,包括自部署的 MinIO、AWS S3、阿里云 OSS 和腾讯云 COS 的环境变量配置说明

通用且必需的环境变量

  • 不支持对临时身份校验密钥的支持,比如 STS 等,请自行保证服务的安全性。
  • 不支持对私有桶的复用,如果把私有桶名和公开桶名设置为同一个的话,请保证存储桶的策略至少为【公开读私有写】
  • STORAGE_VENDOR 该变量为一个枚举值,可选值为:minioaws-s3osscos
  • STORAGE_REGION 提供的对象存储服务所在的地区如 us-east-1 等,具体请根据服务厂商所提供的地区来填写;如果是自部署的 MinIO 等服务这个值可随意填写。
  • STORAGE_ACCESS_KEY_ID 服务访问密钥的 Access Key ID
  • STORAGE_SECRET_ACCESS_KEY 服务访问密钥的 Secret Access Key
  • STORAGE_PUBLIC_BUCKET FastGPT 公开资源存储桶桶名
  • STORAGE_PRIVATE_BUCKET FastGPT 私有资源存储桶桶名

自部署的 MinIO 和 AWS S3

MinIO 这类产品对 AWS S3 协议支持比较完整,因此使用 Minio 和AWS S3 配置几乎可以是相同的,只是因为服务商提供和自部署的区别,会有额外的配置。 因此理论上任何对 AWS S3 协议的支持程度至少和 MinIO 相当的对象存储服务都可以使用,比如 SeaweedFS、RustFS 等。

  • STORAGE_S3_ENDPOINT 内网连接地址,可以是容器 id 连接,比如 http://fastgpt-minio:9000
  • STORAGE_EXTERNAL_ENDPOINT 一个服务器客户端均可访问到存储桶的地址,可以是固定的宿主机 IP 或者域名,注意不要填写成 127.0.0.1 或者 localhost 等本地回环地址(因为容器里无法使用)。该地址用于签发文件上传 URL 时使用。
  • STORAGE_S3_FORCE_PATH_STYLE 【可选】虚拟主机风格路由或路径路由风格,其中如果厂商填写了 minio 的话,该值被固定为 true
  • STORAGE_S3_MAX_RETRIES 【可选】请求最大尝试次数,默认为 3 次

完整示例

如果使用的是 Sealos 的对象存储服务请将 STORAGE_VENDOR 填写为 aws-s3

STORAGE_VENDOR=minio
STORAGE_REGION=us-east-1
STORAGE_ACCESS_KEY_ID=your_access_key
STORAGE_SECRET_ACCESS_KEY=your_secret_key
STORAGE_PUBLIC_BUCKET=fastgpt-public
STORAGE_PRIVATE_BUCKET=fastgpt-private
STORAGE_EXTERNAL_ENDPOINT=http://127.0.0.1:9000
STORAGE_S3_ENDPOINT=http://127.0.0.1:9000
STORAGE_S3_FORCE_PATH_STYLE=true
STORAGE_S3_MAX_RETRIES=3

阿里云 OSS

  • STORAGE_OSS_ENDPOINT 阿里云对象存储连接主机名,厂商提供的默认值一般都是 {地区}.aliyuncs.com,如 oss-cn-hangzhou.aliyuncs.com;注意,如果配置了自定义域名的话也填在这里,比如 your-domain.com
  • STORAGE_OSS_CNAME 是否开启自定义域名
  • STORAGE_OSS_SECURE 是否开启了 TLS,如果域名没有认证证书的话,请关闭该选项
  • STORAGE_OSS_INTERNAL 【可选】是否开启内网访问,如果你的服务也在阿里云的话可以开启并节省流量,默认关闭

完整示例

STORAGE_VENDOR=oss
STORAGE_REGION=oss-cn-hangzhou
STORAGE_ACCESS_KEY_ID=your_access_key
STORAGE_SECRET_ACCESS_KEY=your_secret_key
STORAGE_PUBLIC_BUCKET=fastgpt-public
STORAGE_PRIVATE_BUCKET=fastgpt-private
STORAGE_OSS_ENDPOINT=oss-cn-hangzhou.aliyuncs.com
STORAGE_OSS_CNAME=false
STORAGE_OSS_SECURE=false
STORAGE_OSS_INTERNAL=false

腾讯云 COS

  • STORAGE_COS_PROTOCOL 枚举可选值 https:http:,注意不要忘记 :;如果自定义域名没有上传证书的话,请不要设置为 https:
  • STORAGE_COS_USE_ACCELERATE 【可选】是否启用全球加速域名,默认为 false。若改为 true,需要存储桶开启全球加速功能
  • STORAGE_COS_CNAME_DOMAIN 【可选】自定义域名,如 your-domain.com
  • STORAGE_COS_PROXY 【可选】代理服务器,如 http://localhost:7897

完整示例

STORAGE_VENDOR=cos
STORAGE_REGION=ap-shanghai
STORAGE_ACCESS_KEY_ID=your_access_key
STORAGE_SECRET_ACCESS_KEY=your_secret_key
STORAGE_PUBLIC_BUCKET=fastgpt-public
STORAGE_PRIVATE_BUCKET=fastgpt-private
STORAGE_COS_PROTOCOL=http:
STORAGE_COS_USE_ACCELERATE=false
STORAGE_COS_CNAME_DOMAIN=
STORAGE_COS_PROXY=
在 GitHub 上编辑

最后更新于