书生·浦语社区于 2023 年年底正式推出了书生·浦语大模型实战营系列活动,至今已有两期五批次同学参加大模型学习、实战,线上课程累计学习超过 10 万人次。
实战营特设项目实践环节,提供 A100 算力支持,鼓励学员动手开发。第 2 期实战营共收到 500 多个项目申报,我们在众多的项目中为大家精选了 23 个优秀项目,现在就让我们一起欣赏下学员们的成果吧,看看他们是怎么将奇思妙想带入现实~
优秀项目一览
优秀项目介绍
销冠 —— 卖货主播大模型
Streamer-Sales 销冠 —— 卖货主播大模型 是一个能够根据给定的商品特点从激发用户购买意愿角度出发进行商品解说的卖货主播大模型。项目功能点如下:
项目地址: https://github.com/PeterH0323/Streamer-Sales 视频地址: https://www.bilibili.com/video/BV1ZJ4m1w75P 应用地址: https://openxlab.org.cn/apps/detail/HinGwenWong/Streamer-Sales
美妆达人
"美妆达人"项目采用 InternLM2 大模型、XTuner 微调工具、LMDeploy 部署工具,为用户提供个性化时尚搭配建议。通过上传全身照和衣柜服装,结合季节、温度、天气、出行目的和个性需求,定制最完美的穿搭方案。
项目的亮点如下:
项目地址: https://github.com/RayTang88/BeautyMaster 视频地址: https://www.bilibili.com/video/BV1Vz421b7D3 应用地址: https://openxlab.org.cn/apps/detail/raytang88/BeautyMaster-OpenXLab
Healthcare-Agent 医疗 AI 智能体
GenAI 赋能,解读您的健康密码,个性化数据, 易懂化解读,它将成为您一生的健康伴侣,随时随地守护您的健康。
基于上海人工智能实验室的书生·浦语大模型,并通过专业医疗保健数据调优训练并系统开发的医疗保健智能体,为医疗保健工作者赋能提效,为家庭健康决策人提供全生命周期的健康管理。
项目地址: https://github.com/CDL0726/Healthcare-Agent 视频地址: https://www.bilibili.com/video/BV1yM4m1U7zx 应用地址: https://openxlab.org.cn/apps/detail/NagatoYuki0943/HealthcareAgent
雅鸭 —— 雅思作文小助手
雅鸭 IELTSDuck 是一款基于 InternLM2 进行 QLoRA 微调,专为雅思考生(主要针对初级与中级水平学习者)开发的创新 LLMs 辅导工具,旨在提升学生的雅思写作能力。
雅鸭 IELTSDuck 整合了作文结构引导、语法检查与改进、内容与逻辑评估以及智能评分等多功能,致力于帮助学生提升雅思写作水平。主要功能有根据雅思作文批改标准进行评估打分,并会指明失误点纠正语法、词汇问题,也会对文章内容逻辑进行分析。
主要功能:
项目地址: https://github.com/neverbiasu/IELTSDuck 视频地址: https://www.bilibili.com/video/BV1Xf421X7Kj 应用地址: https://openxlab.org.cn/apps/detail/Fayche/IELTSDuck
医学文献综述助手 (又名 不想看文献)
这是一款基于 RAG 的医学文献综述小工具。用户可配置本地或远程大语言模型,通过关键词或 PMID 搜索 PubMed,上传 PDF 文件,并创建和管理文献数据库。通过聚类算法对文本分块进行聚类,用更少的算力生成对数据库内容的整体认识。最后工具可以基于用户提问生成带有参考文献的综述文本。旨在帮助科研人员高效检索、管理、阅读和总结文献。
项目地址: https://github.com/jabberwockyang/MedicalReviewAgent 视频地址: https://www.bilibili.com/video/BV1df421X7Mk 应用地址: https://huggingface.co/spaces/Yijun-Yang/ReadReview
狐言乱语-EssayAssistant 论文小助手
狐言乱语论文小助手旨在解决论文的找、读、用等难题,项目分为狐聊、狐说、狐找、狐写四个模块,结合大模型帮助用户快速掌握论文概况,并可结合单页论文细读、精读相关内容。用户也可以通过关键词搜索遍览大量论文生成本地知识库,交由大模型推荐相关论文。亦可以上传本地论文组成知识库,由大模型生成论文综述。
项目地址: https://github.com//BigWhiteFox/EssayAssistant 视频地址: https://www.bilibili.com/video/BV1NRVjeEECF
煤矿安全大模型———矿途智护者
本项目利用包括煤矿历史事故案例、事故处理报告、安全操作规程、规章制度、技术文档以及煤矿从业人员入职考试题库等在内的丰富数据资源,通过微调 InternLM2 模型,构建出一个专门针对煤矿事故和煤矿安全知识智能问答的煤矿安全大模型。为煤矿企业负责人、安全管理人员、矿工提供一个精确、迅速的信息查询、学习与决策支持平台。
项目地址: https://github.com/yaosenJ/CoalQA 视频地址: https://www.bilibili.com/video/BV1k7421R7qc 应用地址: https://openxlab.org.cn/apps/detail/milowang/CoalQAv1
智能营销助手
获客、活客、留客是电商行业的三大难题,谁拥有跟客户最佳的沟通方式,谁就拥有客户。
随着用户消费转移移至线上,电商行业面临一些问题:
在这样的背景下,未来销售的引擎——大模型加持的智能营销助手就诞生了。
智能营销助手的模型由 InternLM2-chat-7B 指令微调而来,它能够与用户的对话,了解用户的需求,基于多模态的 AIGC 生成能力,应用层整合了 RAG、Agent、数字人、虚拟试穿、智能推荐等功能,能够持续输出更符合用户消费习惯的文本、图片、语音和视频等营销内容,推荐符合用户的商品,将营销与经营结合。
项目地址: https://github.com/wux-labs/OpenXLab-IntelligentSalesAssistant 视频地址: https://www.bilibili.com/video/BV1W1421y7hW 应用地址: https://openxlab.org.cn/apps/detail/AI-Labs/IntelligentSalesAssistant
千面英雄
偶像、榜样的力量是无穷的,让人敢想敢干,克服困难,不放弃。千面英雄,利用时代最新的大模型技术,基于书生浦语大模型生态(基于 InternLM-7B 模型,利用 XTuner 微调,LMDeploy 部署),提供对话的形式,基于用户的价值观、兴趣、想要的成就、成长经历,个性化地推荐最契合用户的英雄偶像。让活生生的人和经历激励你,让你不怕摔倒,敢想,敢干的同时也能深刻意识到世界的复杂和交换成功所要付出的代价。
项目地址: https://github.com/Dimen61/face-hero 视频地址: https://www.bilibili.com/video/BV127421R7Lv
layout_magic_llava:基于类 llava 架构多模态大模型的法律证据材料智能处理
本项目主要基于以聊天截图证据为核心的法律诉讼及非诉讼案件的自动化处理场景,核心技术在于使用 XTuner训练 llava 架构模型,其中 llm 为垂直领域适配的 InternLM2 系列模型,该场景下 internvl 表现优秀,技术方案中亦有采用 internvl 预训练权重及数据集的考量。
具体地,基于垂直领域的多模态大模型技术,根据实际工作流程,提出以证据为主线的证据自动化处理 SOP,通过总结海量多模态信息汇总为具有法律意义的结构化信息等方式对繁杂且细节的证据整理工作的流程自动化处理,节省法律工作者的时间,使其能够将精力放在更重要的法律分析、法律研究以及争议解决上,提升司法行政效率和法律服务质量,提升人民的幸福感满足感获得感。
由于该项目高质量数据为执业律师及实习律师人工标注,某些专业场景需要等待数据提供,模型会持续迭代(架构图为 v0.5 版本)。
项目地址: https://github.com/ValeriaWong/layoutocr_magic_llava 视频地址: https://www.bilibili.com/video/BV12eGpewEpj 应用地址:https://openxlab.org.cn/apps/detail/ValeriaWong/layout_magic_llava_v0.5#basic-information
业务流程生成助手
业务流程(Business Process,BP)是为实现目标而使用的可重复的一组步骤。本项目以生成 BPMN 格式的业务流程为目标,以对地观测卫星的业务流程为背景,构建了相应的BP数据集,利用 InternLM2-chat-7B 作为基座模型,XTuner库进行 lora 微调,获得微调后的模型。最后生成的 BPMN 文件基本可以满足用户的需求,使得普通用户可以通过自然语言描述模型。
项目地址: https://gitee.com/zhou-muyan/bpgen.git 视频地址: https://www.bilibili.com/video/BV1oFVpeEEuc
smartPlanter 智能花盆
一个集智能养护与互动娱乐于一体的智能花盆。
项目地址: https://github.com/Luchen-0420/smartPlanter 视频地址: https://www.bilibili.com/video/BV1M4V7exEf4 应用地址: https://openxlab.org.cn/apps/detail/test001/test_hua_pen
医疗助手
本项目旨在开发一个基于茴香豆 RAG 框架和 InternLM2-7B 大模型的医疗助手,帮助患者和医生了解疾病信息和诊断流程。目标是使患者能够提前了解疾病信息,减少恐惧,并提高医生的诊断效率。
首先,收集和处理医学文献、疾病百科和诊断指南等数据,确保数据准确性和规范性。然后,使用这些数据对 InternLM2-7B 模型进行初步训练和微调,确保模型能够生成高质量的医疗回答。同时使用收集的治疗指南构建向量知识库,使用多路召回机制+重排机制来提高向量知识库的检索的命中率。项目实施过程中,将重视数据隐私保护和伦理审查,确保用户数据安全,系统回答准确可靠。
项目地址: https://github.com/aizhweiwei/super-agent 视频地址: https://www.bilibili.com/video/BV1EAVLePELH
罪恶克星-法律大模型
罪恶克星是一个融合法律问答与审计助手功能的创新项目。通过推动法律技术的进步,罪恶克星希望在助力依法治国的道路上迈出坚实一步,为建设法治社会贡献力量。
依托先进的大模型技术,罪恶克星致力于提升法律咨询服务的效率和质量,为用户提供全面、精准的法律解答。
同时,它能智能化处理卷宗和材料,帮助律师摆脱繁琐的程式化工作,提高工作效率。
项目地址: https://github.com/yuetan1988/lawer-llm 视频地址: https://www.bilibili.com/video/BV1zNV7e6E5n
Personalized LLM 领域研究助理
在大语言模型(LLMs)蓬勃发展的当下,个性化大语言模型(Personalized LLM)被视为下一个重要里程碑。我们正在尝试开发一款专注于该细分领域的研究助手。
与传统工具不同,我们期待这款助手更像是一位良师益友, 协助您探索个性化大语言模型的前沿秘境。它用通俗易懂的语言,阐释晦涩难懂的概念;用智能算法,发掘隐藏在海量文献中的关键信息;用友好互动,点燃您的创新灵感。
个性化大语言模型的实现仍面临诸多挑战。我们的项目只是一次有益的尝试,希望能为该细分领域的发展贡献绵薄之力。在这个过程中,我们也期待与业界同仁交流探讨,共同推进个性化大语言模型的研究与应用。
项目地址: https://github.com/1587causalai/Personalized-LLM-Research-Assistent 视频地址: https://www.bilibili.com/video/BV1JWVjezEuK
古文诗词专家助手——诗墨
古文诗词助手“诗墨”,基于书生浦语大模型与工具链开发,旨在带领用户探索领略古文诗词的意境与风光,体会中华文化的博大精深。诗墨基于海量高质量古文诗词数据(覆盖唐宋两朝诗人以及两宋时期词人海量诗词数据以及论语等经典古文有关内容)以及复杂多样自我认知数据集,通过 XTuner 分步迭代微调 InternLM2 模型,并具备在线与诗墨对战功能页面,增加互动乐趣,其功能亮点如下:
项目地址:
https://github.com/Micro647/Poetic-Calligraphy/tree/main
视频地址:
https://www.bilibili.com/video/BV14nVeeeEX2
阿法兔—【谁是卧底】AI 游戏
InternLM2 为内核,结合达摩院 Agentscope 框架,搭建 AI 小游戏-谁是卧底,1 个真人用户和一群 AI 玩游戏,看谁笑到最后。
AI 的智能目前到了什么程度,如果人和 AI 一起玩游戏,到底谁会赢了?
本项目致力于探究大语言模型在 AI 游戏中的智力表现,并寻求新的价值点。
人工智能技术的进步和创新,促进了 AI 游戏的开发。在游戏中,AI 可以用于角色扮演、决策制定、路径规划、实时响应等多个方面,这些技术的突破和应用可以反过来推动其他领域的发展。例如,自动驾驶、智能助手、医疗诊断等领域都可以借鉴游戏中的 AI 技术。
本项目的特色:
项目地址: https://github.com/BarryYin/AlphaTo 视频地址: https://www.bilibili.com/video/BV1HfVjeyECk 应用地址: https://github.com/BarryYin/AlphaTo
峡谷小狐仙 —— 多模态角色扮演小助手
本项目通过构造生成训练数据,采用 XTuner 微调书生浦语 InternLM2 模型的方式,打造了一个王者荣耀领域的角色扮演聊天机器人--峡谷小狐仙,同时结合 ASR技术实现语音输入、RAG 检索增强生成技术,生成王者英雄有关信息, TTS 技术实现声音克隆和语音输出、数字人技术实现了视频输出功能。
峡谷小狐仙将王者荣耀手游中特定游戏角色妲己的形象带入书生浦语语言大模型,在实现知识输出的同时,也达到角色扮演的效果。功能亮点如下:
项目地址: https://github.com/chg0901/Honor_of_Kings_Multi-modal_Dataset 视频地址: https://www.bilibili.com/video/BV1JuVJe1EqT 应用地址: https://openxlab.org.cn/apps/detail/YongXie66/DaJi_RolePlay
小红书风格旅游助手
本项目主要致力于帮助人们更快获取旅游信息,并以轻松活泼的方式与用户互动