中文多模态模型问世!IDPChat生成图像文字,只需5步+单GPU
中文多模态模型问世!IDPChat生成图像文字,只需5步+单GPU,翻译,数据源,大模型,视频文件,多模态模型,idpchat
新智元报道
编辑:桃子 拉燕
【新智元导读】中文多模态模型IDPChat来了,快速上手教程在此。
【资料图】
中文多模态模型IDPChat和大家见面了。
随着GPT4、文心一言等的发布,预训练大模型正式开启由单模态向多模态模型演进。多模态的特性为语言模型带来更加丰富的应用场景。
我们认为,未来的AI应用将主要以大模型为核心基石。
而在大模型的领域,基于基础模型(Foundation model)构建领域或企业自有的大模型,会是近中期的重要发展趋势。
但在私有化大模型微调和应用方面,企业和机构仍面临着微调复杂、部署困难、成本较高等种种工程化挑战。
白海作为AI基础软件服务商,我们希望能够从AI Infra层面,提供端到端的大模型微调、部署和应用工具,降低大模型微调和应用的门槛。白海科技IDP平台目前提供了从大模型数据源接入到大模型微调训练、模型发布的全流程功能。
我们以IDP平台为工具支撑,以预训练大语言模型LLaMA和开源文生图预训练模型Stable Diffusion为基础,快速构建了多模态大模型应用IDPChat。开发者们可根据场景需求,便捷地对其进行微调优化。
项目地址:https://github.com/BaihaiAI/IDPChat
IDPChat 能做什么
IDPChat目前可以同时支持文字对话和图片生成。
首先是图像生成,我们可以让模型根据文字描述画一幅画。
基础的文字对话聊天示例,可支持中文。
IDPChat 快速上手
仅需简单的5步和单GPU,即可快速启用IDPChat。
操作步骤如下:
1. 修改 ./backend/app/stable_diffusion/generate_image.py 文件,设置 diffusion_path 的值为本地 stable-diffusion 模型存储路径,设置 trans_path 的值为本地中文翻译模型的存储路径
2. 修改 ./backend/app/llama/generate_text.py 文件,设置 load_model 的 base 参数值为本地 llama 模型的存储路径
3. 执行 build.sh 脚本进行编译
4. 编译成功后执行 run.sh 脚本启动服务
5. 服务启动成功后,在浏览器中打开http://127.0.0.1:8000
在应用之前,需要下载准备所需的模型,LLaMA、Stable diffusion和相应的翻译模型。
具体所需的环境、模型、和操作步骤可以参考https://github.com/BaihaiAI/IDPChat
目前发布IDPChat初步版本,打通模型微调的全流程。
后续我们会继续对模型进行优化和丰富,如多模态部分增加图像描述功能。
当然要实现特定领域更高质量、针对性的表现,还需要基于领域数据的finetune和优化。
对 IDPChat 和 IDP 平台感兴趣的开发者小伙伴、场景应用伙伴等欢迎关注Github并联系我们。我们相信 IDP 平台和 IDPChat 将成为您探索多模态大模型应用和私有化大模型构建的得力助手。
关键词:
[ 相关文章 ]
中文多模态模型问世!IDPChat生成图像文字,只需5步+单GPU,翻译,数据源,大模型,视频文件,多模态模型,idpchat
据中国载人航天工程办公室消息,北京时间4月15日,神舟十五号航天员乘组进行了第四次出舱活动。在地面工作人员和舱内航天员邓清明的密切配合下
掉落:击破46级以上的对象时可能掉落的道具及概率。除此之外也会掉落金钱。另外,若地方等级未满45,道具等级及掉落率会降低。(机械生物的核
1、把切过的火腿用绳子吊起来,放在阴凉通风处,保持干燥就能够保存。2、是把切开后的火腿放入冰箱冷藏,如果是长时间的,我们也可以用冷冻的
2023年闵行区小班幼儿入园报名流程图2023年闵行区中班 大班插班转园幼儿入园报名流程图2023年闵行区托班幼儿入园报名流程图相关推荐:上海闵行
根据谷歌的最新数据,超过12%的Android手机和平板电脑现在正在运行Android13。据IT之家了解,相比之下,安卓12在发布近一年后才出现在分布图中
近日,央行货币政策委员会2023年第一季度(总第100次)例会在北京召开。
四川西昌,邛海之北,建昌古城内人流如织。当夜幕降临、华灯初上,人流开始向一家家烧烤店聚集,铁丝网上烤肉的滋滋声,奏出饕客
最近,教育部发布的数据显示,去年我国的幼儿园数量和在园幼儿双双减少。人口萎缩的冲击波,已经在幼儿园阶段显露出来,由此带来的涟漪效应,
近日,比亚迪针对旗下车型——比亚迪元PLUS(图片|配置|询价)、比亚迪海豚(图片|配置|询价)推出了限时优惠购车活动。4月14日-4月30日期间,下订
【贺一诚:6月将推出“1+4”适度多元发展细化方案】澳门特区行政长官贺一诚14日在立法会全体会议上回答多位议员问题。内容涉及横琴粤澳深度合
4月14日,欧拉闪电猫(参数|询价)携手天津·中汽中心,成功完成模拟暴雨天气情况下,主驾女性假人十字路口连环碰撞挑战。这是国内首次以女性假
一、娩怎么读的部首1、部首:女2、笔画:103、繁体:娩4、五笔:VQKQ二、娩怎么读的笔顺5、娩怎么读的笔顺:ㄑノ一ノ
姹紫嫣红齐争妍 赵巷街头、社区里 随处可见的 紫藤花开如瀑布 云木之上 天空之下 枝蔓上 花朵层层叠叠、花团锦簇 紫藤花在春日里肆意
1、在《剑网三》的游戏中,稻香村虽然是老副本,爆炸装备和材料都比较差,但是却因为能在游戏中打出非常漂亮的珠宝“画卷”而受
易纲表示,中方支持解决债务问题的多边努力。各方应坚持“共同行动、公平负担”原则,多边开发银行应在债务处置中作出应有贡献,私人部门债权
近日,华商基金管理公司旗下基金产品公布了2022年年报。在2022年市场震荡的大背景下,华商基金旗下产品整体表现可圈可点。数据显示,2022年,
龙龙高铁龙武段接触网首组腕臂安装完成,全线设备安装进入阶段。
处置非法集资部际联席会议办公室有关负责人4月14日表示,当前,非法集资风险总体可控、趋于收敛。同时,也要清醒认识到,我国经济恢复基础还不
新华社华盛顿4月13日电(记者潘丽君杨士龙)国际货币基金组织(IMF)总裁格奥尔基耶娃13日表示,中国经济正强劲反弹,预计今年中国对全球经济
[ 相关新闻 ]
Copyright 2015-2022 热讯医院网 版权所有 备案号:豫ICP备20005723号-6 联系邮箱:29 59 11 57 8@qq.com