大仓库性能优化

$ git count-objects -v
count: 4821           # 松散对象数量（.git/objects/??/ 目录下的文件数）
size: 23856           # 松散对象占用的磁盘空间（KiB）
in-pack: 183402       # pack 文件中的对象数量
packs: 12             # pack 文件数量
size-pack: 892340     # pack 文件占用的磁盘空间（KiB）
prune-packable: 0     # 已在 pack 中但仍以松散形式存在的对象数量
garbage: 0            # 损坏或不可访问的对象数量
size-garbage: 0       # 损坏对象占用的空间（KiB）

# 找出历史中体积最大的 10 个 blob
git rev-list --objects --all \
  | git cat-file --batch-check='%(objecttype) %(objectname) %(objectsize) %(rest)' \
  | awk '/^blob/ {print $3, $4}' \
  | sort -rn \
  | head -10

52428800  datasets/training_data_v2.csv
31457280  assets/videos/intro.mp4
20971520  build/output/app-debug.apk
...

du -sh .git/*/ 2>/dev/null | sort -rh | head -10

820M  .git/objects/
150M  .git/objects/pack/
670M  .git/objects/??/       # 松散对象，异常！
45M   .git/lfs/
12M   .git/refs/

# 查看当前配置
git config --get gc.auto
git config --get gc.autopacklimit

# 前台执行，可观察详细输出
GIT_TRACE=1 git gc --aggressive

# 仅清理，不 repack
git gc --prune=now

# 强制执行（即使 auto 条件未满足）
git gc --force

# 设置松散对象阈值（降低可更频繁触发，但增加开销）
git config gc.auto 100

# 设置过期时间（更激进的清理策略）
git config gc.pruneExpire 3.days.ago

# 禁用自动 gc（不推荐，但排查问题时有用）
git config gc.auto 0

# aggressive 模式的 pack 窗口大小（默认 250，越大压缩越好但越慢）
git config pack.windowMemory 256m

# 日常维护：合并松散对象到已有 pack，删除冗余 pack
git repack -d

# 深度优化：全量重打包，最大化压缩
git repack -a -d --depth=50 --window=30

# 仅打包松散对象（不碰已有 pack）
git repack

# 不下载任何 blob，最激进的 partial clone
git clone --filter=blob:none https://github.com/org/monorepo.git

# 下载小于 100KB 的 blob（源码通常能直接获取，大文件按需）
git clone --filter=blob:limit=100k https://github.com/org/monorepo.git

# 结合 bare 仓库做本地缓存
git clone --filter=blob:none --bare https://github.com/org/monorepo.git monorepo.git
git clone --reference-if-able monorepo.git https://github.com/org/monorepo.git work

# 初始化 sparse-checkout
git sparse-checkout init --cone

# 添加需要检出的目录
git sparse-checkout set src/core src/api docs

# 添加更多目录
git sparse-checkout add src/utils

# 查看当前配置
git sparse-checkout list

# 禁用 sparse-checkout（恢复完整检出）
git sparse-checkout disable

# 初始化为普通模式
git sparse-checkout init --no-cone

# 设置匹配模式
git sparse-checkout set \
  "src/core/**" \
  "docs/*.md" \
  "!docs/draft/**"

# 或直接编辑配置文件
cat > .git/info/sparse-checkout << 'EOF'
/*
!build/
!vendor/
!*.pdf
EOF

# 1. partial clone：不下载 blob
git clone --filter=blob:none https://github.com/org/monorepo.git

cd monorepo

# 2. sparse-checkout：只检出需要的目录
git sparse-checkout init --cone
git sparse-checkout set src/core src/api

# 3. 此时工作目录只有 src/core 和 src/api
# 未检出的文件不会触发 blob 下载

# 4. 需要其他目录时，动态添加
git sparse-checkout add src/utils

# 5. 切换分支时，sparse-checkout 自动生效
git checkout feature-branch

# 查看浅克隆的截断点
cat .git/shallow
# h8a3b2c1d4e5f6...

# 查看浅克隆深度
git rev-list --count HEAD
# 3

# 仅获取最近 1 次提交
git clone --depth=1 https://github.com/org/monorepo.git

# 获取最近 10 次提交
git clone --depth=10 https://github.com/org/monorepo.git

# 浅克隆特定分支
git clone --depth=1 --branch=release/v2 --single-branch https://github.com/org/repo.git

# 加深历史（将浅克隆转为更深的克隆）
git fetch --depth=100
git fetch --unshallow    # 获取全部历史，变为完整克隆

# 方法一：按 blob 体积排序（推荐）
git rev-list --objects --all \
  | git cat-file --batch-check='%(objecttype) %(objectname) %(objectsize) %(rest)' \
  | awk '/^blob/ {print $3, $4}' \
  | sort -rn \
  | head -20

# 方法二：按文件扩展名统计总占用
git rev-list --objects --all \
  | git cat-file --batch-check='%(objecttype) %(objectname) %(objectsize) %(rest)' \
  | awk '/^blob/ {split($4,a,"."); ext=a[length(a)]; size[ext]+=$3} END {for(e in size) print size[e], e}' \
  | sort -rn \
  | head -10

8589934592 .mp4
2147483648 .csv
1073741824 .apk
536870912  .so
268435456  .pdf

# 安装（pip）
pip install git-filter-repo

# 清除指定路径的所有历史
git filter-repo --path datasets/training_data_v2.csv --invert-paths

# 清除指定扩展名的所有历史
git filter-repo --path-glob '*.mp4' --invert-paths

# 清除大于 10MB 的 blob
git filter-repo --strip-blobs-bigger-than 10M

# 保留最近 6 个月的历史，截断更早的提交
git filter-repo --strip-blobs-bigger-than 10M --refs refs/heads/main@{2024-01-01}

# 安装 Git LFS
git lfs install

# 追踪大文件类型
git lfs track "*.psd"
git lfs track "*.mp4"
git lfs track "*.so"

# 查看追踪规则
cat .gitattributes
# *.psd filter=lfs diff=lfs merge=lfs -text
# *.mp4 filter=lfs diff=lfs merge=lfs -text

# 迁移已有文件到 LFS（Git 2.42+）
git lfs migrate import --include="*.psd,*.mp4" --everything

# 验证 LFS 状态
git lfs ls-files

# 1. 清除 reflog（引用日志会保留被删除对象的引用）
git reflog expire --expire=now --all

# 2. 清除 stash
git stash drop  # 逐个删除
# 或
git reflog expire --expire=now --all  # 已包含 stash 的引用

# 3. 激进 gc
git gc --aggressive --prune=now

# 4. 全量 repack
git repack -a -d --depth=50 --window=30

# 5. 清理 LFS 缓存
git lfs prune

# 6. 验证结果
git count-objects -v
du -sh .git

# 1. pre-commit 钩子：阻止大文件入库
# .git/hooks/pre-commit
#!/bin/sh
# 阻止超过 10MB 的文件提交
max_size=10485760  # 10MB
large_files=$(git diff --cached --name-only | while read f; do
  [ -f "$f" ] && [ $(wc -c < "$f") -gt $max_size ] && echo "$f"
done)
if [ -n "$large_files" ]; then
  echo "ERROR: 以下文件超过 10MB 限制，请使用 Git LFS："
  echo "$large_files"
  exit 1
fi

# 2. CI 检查：定期监控仓库体积
# .github/workflows/repo-health.yml
# - run: git clone --bare . /tmp/repo-check && du -sh /tmp/repo-check

# 3. 定期 gc（cron 或 CI 定时任务）
# 每周日凌晨执行
git gc --aggressive --prune=now