已收录261 条资讯/91 个 AI 工具/372 个开源项目/64 个学习资源
首页资讯开源榜单模型榜AI 工具学习资源
首页 / 开源榜单 / IOPaint

IOPaint

基于最先进AI模型的免费开源图像修复工具，可移除图片中的不需要对象或替换任何内容

PythonApache-2.0Application
⭐ GitHubhttps://github.com/Sanster/IOPaint
23,355
Star 数
+119
Star 增速
2025年4月29日
最后更新
2,756
点击数

IOPaint 项目详细介绍

项目概述

IOPaint是一款免费开源的图像修复(inpainting)和图像扩展(outpainting)工具，基于最先进的AI模型技术。该项目由Sanster开发维护，旨在为用户提供强大而便捷的图像编辑功能。

项目地址: https://github.com/Sanster/IOPaint
官方网站: https://www.iopaint.com/

核心功能

1. 图像修复 (Inpainting)

  • 对象移除: 移除图片中不需要的对象、瑕疵、水印、人物等
  • 内容替换: 使用稳定扩散(Stable Diffusion)技术替换图片中的任何内容
  • 智能填充: 自动识别并填充被移除区域，保持图像的自然性

2. 图像扩展 (Outpainting)

  • 画面扩展: 扩展图像边界，生成更大尺寸的图片
  • 背景生成: 智能生成与原图风格一致的背景内容

3. 文字绘制

  • 文本添加: 在图像上添加各种风格的文字
  • 字体自定义: 支持多种字体和样式选择

支持的AI模型

擦除模型 (Erase Models)

这些模型专门用于移除图像中不需要的对象、瑕疵、水印和人物，包括：

  • LAMA: 轻量级且高效的图像修复模型
  • LDM: 基于潜在扩散模型的修复技术
  • ZITS: 专业的图像修复算法
  • MAT: 掩码感知变换器模型

扩散模型 (Diffusion Models)

这些模型用于对象替换和图像扩展任务，包括：

  • PowerPaint: 专为inpainting/outpainting优化的稳定扩散模型
  • Stable Diffusion: 经典的图像生成模型
  • SDXL: 更高质量的扩展版本
  • Kandinsky 2.2: 俄罗斯开发的高质量图像生成模型

插件系统

IOPaint提供了丰富的插件生态系统：

图像分割插件

  • Segment Anything (SAM): 精确快速的交互式对象分割
  • MobileSAM: 轻量化版本，速度更快，资源占用更少
  • Anime Segmentation: 专为动漫图像优化的分割模型

背景处理插件

  • RemoveBG: 移除图像背景或为前景对象生成蒙版

图像增强插件

  • RealESRGAN: 超分辨率技术，提升图像清晰度
  • GFPGAN: 人脸修复和增强
  • RestoreFormer: 另一种人脸修复解决方案

文件管理插件

  • FileManager: 便捷的图片浏览和管理工具

技术特点

跨平台支持

  • 完全免费开源: 遵循开源协议，用户可自由使用和修改
  • 自托管: 完全本地部署，保护用户隐私
  • 多设备支持:
    • CPU: 适用于普通计算机
    • GPU: 支持CUDA加速
    • Apple Silicon: 原生支持M系列芯片

Web界面

  • 现代化UI: 提供直观易用的Web界面
  • 实时预览: 支持实时查看编辑效果
  • 批处理: 支持批量处理多张图片

安装和使用

快速安装

# 安装IOPaint
pip3 install iopaint

# 启动服务（使用LAMA模型，CPU模式）
iopaint start --model=lama --device=cpu --port=8080

GPU加速安装

# 首先安装CUDA版本的PyTorch
pip3 install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu118

# 然后安装IOPaint
pip3 install iopaint

AMD GPU支持

# AMD GPU用户（仅限Linux）
pip3 install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/rocm5.6

启动服务

安装完成后，访问 http://localhost:8080 即可开始使用。

命令行批处理

iopaint run --model=lama --device=cpu \
--image=/path/to/image_folder \
--mask=/path/to/mask_folder \
--output=output_dir

插件启用

# 启用交互式分割插件
iopaint start --enable-interactive-seg --interactive-seg-device=cuda

开发环境搭建

前端开发

# 克隆项目
git clone https://github.com/Sanster/IOPaint.git
cd IOPaint/web_app

# 安装依赖
npm install

# 构建前端
npm run build
cp -r dist/ ../iopaint/web_app

# 开发模式
npm run dev

后端开发

# 安装后端依赖
pip install -r requirements.txt

# 启动后端服务
python3 main.py start --model lama --port 8080

开发环境下访问 http://localhost:5173/ 进行前端开发。

移动端应用

IOPaint还推出了移动端应用：

  • OptiClean: 适用于macOS和iOS的对象擦除应用，在App Store可下载

应用场景

  1. 照片后期处理: 移除不需要的路人、物体或水印
  2. 产品图片优化: 清理产品照片中的瑕疵
  3. 艺术创作: 进行创意图像编辑和内容替换
  4. 图像修复: 修复老照片或损坏的图像
  5. 背景处理: 更换或移除图像背景
  6. 图像扩展: 扩大图像画面范围

项目优势

  1. 开源免费: 完全开源，无使用限制
  2. 隐私保护: 本地部署，数据不上传云端
  3. 模型丰富: 支持多种最先进的AI模型
  4. 易于使用: 提供直观的Web界面
  5. 高度可定制: 支持插件扩展和模型选择
  6. 跨平台: 支持多种操作系统和硬件架构
  7. 持续更新: 活跃的开发社区和定期更新

IOPaint是目前最优秀的开源图像修复工具之一，无论是个人用户还是专业开发者，都能从中获得强大的图像编辑能力。