如何在 Google Cloud Shell 启动时自动挂载 GCS bucket?
结论
Cloud Shell 不支持通过 Cloud Storage FUSE(gcsfuse)挂载 GCS bucket,启动脚本也无法实现这种自动挂载。Google 的挂载文档明确指出,Cloud Shell 不适用于该操作。Cloud Storage FUSE 挂载说明
如果需要保存超过 5GB 的数据,可以继续使用同一个 Google 账号,将数据存入 GCS,再通过 gcloud storage 按需上传和下载。如果程序必须通过普通文件路径访问大量数据,则应将运行环境迁移到自行管理的 Compute Engine VM,并配置磁盘或网络存储。
为什么启动脚本不能解决挂载限制?
Cloud Shell 默认提供挂载在 $HOME 下的 5GB 持久化空间。这里的脚本和配置可以跨会话保留,但启动脚本不会增加存储容量。Cloud Shell 配置说明
数据持久化和挂载状态也需要区分:远端存储中的数据可以独立保留,挂载则是当前运行环境的状态。Cloud Shell 的底层 VM 是临时环境,实例被回收后,不能依靠上一次会话的挂载状态继续工作。Cloud Shell 工作原理
因此,即使把 gcsfuse 命令加入 .bashrc 或 .customize_environment,Cloud Shell 也不会获得官方不支持的挂载能力。
在 Cloud Shell 中使用 GCS 保存数据
准备一个有权访问的 bucket,将下面的 YOUR_BUCKET 替换为实际名称。账号需要具备相应的对象读取或写入权限;Cloud Shell 出现授权提示时,需要完成授权。
# 查看远端文件
gcloud storage ls gs://YOUR_BUCKET/work-data/
# 下载当前需要处理的文件
gcloud storage cp gs://YOUR_BUCKET/work-data/input.csv "$HOME/input.csv"
# 上传处理结果
gcloud storage cp "$HOME/result.csv" gs://YOUR_BUCKET/work-data/result.csv
这些命令通过 Cloud Storage API 传输对象,无须挂载文件系统。gcloud storage cp 命令说明
下载的文件仍占用本地空间,应按需取用,避免将超过可用容量的数据集整体下载到 $HOME。
可以保留哪些启动配置?
可以在现有的 $HOME/.bashrc 末尾加入以下内容,让每个交互式 Bash 会话都能使用固定的远端路径和传输函数:
export GCS_WORK_PREFIX='gs://YOUR_BUCKET/work-data'
gcs_pull() {
mkdir -p "$HOME/work-data" &&
gcloud storage rsync "$GCS_WORK_PREFIX" "$HOME/work-data" --recursive
}
gcs_push() {
gcloud storage rsync "$HOME/work-data" "$GCS_WORK_PREFIX" --recursive
}
保存后,在当前终端加载配置:
source "$HOME/.bashrc"
# 需要时下载目录内容
gcs_pull
# 修改完成后上传
gcs_push
配置和函数会自动加载,数据则在调用函数时传输。gcs_pull 会下载整个指定前缀下的数据,只适合能放入本地剩余空间的工作集。
gcloud storage rsync 是单向同步,可能覆盖目标中的同名文件。上述命令未启用删除目标多余对象的选项;双向轮流执行也不能合并冲突。需要检查预期操作时,可以先在命令末尾加上 --dry-run。gcloud storage rsync 命令说明
Cloud Shell 也支持 $HOME/.customize_environment。该脚本在实例启动时以 root 身份后台运行,适合安装工具;.bashrc 则在每次打开交互式 Shell 时读取。使用启动脚本时,也不适合假定用户凭据已经就绪并直接启动数据传输。启动脚本配置说明
NFS 能否作为替代方案?
使用 NFS 需要另外确认客户端挂载能力、服务端导出权限、网络连通性和防火墙配置,不能仅凭一条启动命令保证可用。
如果使用 Filestore,还必须满足其网络连接要求。在 Cloud Shell 中能够调用 API 创建 Filestore,并不代表 Cloud Shell 已经具备访问其 NFS 共享的网络条件。Filestore 网络要求
需要长期使用 NFS 或更大的本地文件系统时,可以在满足网络条件的 Compute Engine VM 上运行任务,并配置持久化磁盘或 NFS。自行管理的 VM 磁盘也有明确的扩容流程。Compute Engine 磁盘扩容说明
使用 GCS 或其他云资源前,还应确认对应的存储、请求和数据传输费用;Cloud Shell 的免费存储额度不会自动覆盖这些资源。
备注:内容仅供参考。
