项目简介
该存储库包含使用 Flask、Twilio 的 WhatsApp API 和带有 IDM-VTON 试戴模型的 Gradio 应用程序构建的虚拟试戴应用程序的代码。用户可以通过 WhatsApp 将图像发送到 Twilio,以虚拟方式试穿服装,然后将结果发送回给他们。
特征
- 通过 WhatsApp 接收人和衣服的图像。
- 使用 Gradio 的 API 生成虚拟试穿结果。
- 通过 WhatsApp 将结果图像返回给用户。
- 使用 Twilio Sandbox for WhatsApp 轻松进行原型设计和测试。
使用的技术
- Flask :后端服务器,用于处理请求并与 Twilio 和 Gradio 交互。
- Twilio API :发送和接收 WhatsApp 消息和媒体。
- Gradio API :用于与虚拟试穿 Gradio 应用程序进行交互,该应用程序在底层使用 IDM-VTON(改进真实虚拟试穿的扩散模型)模型来生成准确的服装试穿结果。
- Ngrok :用于将本地服务器公开到互联网以进行 WhatsApp 交互。
先决条件
在运行此项目之前,请确保您具备以下条件:
- 具有 WhatsApp 沙箱设置的 Twilio 帐户。
- Hugging Face 帐户使用 Gradio API。
- 您的计算机上安装了 Python 3.6+。
Twilio 设置
- 创建一个Twilio 帐户。
- 激活WhatsApp 的 Twilio 沙箱:
- 在 Twilio 控制台中,导航到“消息传递”部分,然后选择WhatsApp沙箱下的“试用” 。
- 按照说明通过向提供的 Twilio 号码发送 WhatsApp 消息来加入沙箱。
- 从 Twilio 控制台获取您的Twilio 帐户 SID和身份验证令牌:
- 转到 Twilio 控制台中的“设置”以查找这些凭据。
- 记下用于发送和接收 WhatsApp 消息的Twilio Sandbox 号码。
设置沙盒后,您可以开始向 WhatsApp 沙盒号码接收和发送消息,以测试您的虚拟试戴应用程序。
Hugging Face设置
- 创建一个Hugging Face a帐户。
- 使用Nymbo 虚拟试穿模型作为 Hugging Face Spaces 上提供的 API:Nymbo 虚拟试穿。该 API 是使用 IDM-VTON(基于图像的虚拟试穿网络)模型构建的,该模型会拍摄两个人的图像以及一件可以产生真实试穿效果的服装。
项目链接
https://github.com/adarshb3/Virtual-Try-On-Application-using-Flask-Twilio-and-Gradio
- 本文作者: Anderson
- 本文链接: http://nikolahuang.github.io/2024/11/06/一款虚拟试衣应用Virtual-Try-On-App/
- 版权声明: 转载请注明出处,谢谢。