AI干货|大语言模型:开源-医疗-大模型[疯语咒AI]

训练数据

Dataset	Department	Language	Q&A	Chat	Number	Syn.	Size	Weight
CMD.	Surgical	CN	✔	×	116K	×	52MB
	Obstetrics and Gynecology	CN	✔	×	229K	×	78MB
	Pediatrics	CN	✔	×	117K	×	47MB
	Internal Medicine	CN	✔	×	307K	×	102MB
	Andriatria	CN	✔	×	113K	×	44MB
	Merged	CN	✔	×	1.9M	×		Doctor_GLM/ckpt
MedDialog	Multiple	CN&EN	✔	✔	3.4M	×	1.5GB	ptuning_weight
ChatDoctor	Multiple	EN	✔	×	5.4K	✔	2.9MB	Coming soon
HearlthcareMagic	Multiple	EN	✔	×	200K	×	216MB	Coming soon

https://github.com/Toyhom/Chinese-medical-dialogue-data

使用

lora

显存 >= 13G （未量化版本）
pip install deep_training cpm_kernels icetk transformers>=4.26.1
torch >= 1.12.0 (icetk依赖cpu版torch, 建议先安装icetk后安装gpu版torch)
lora的finetune代码来自 https://github.com/ssbuild/chatglm_finetuning

对于fp16模型，直接使用Doctor_GLM/chat_lora.ipynb，由于官方更新了chatglm的权重，我们将老版权重放在了 old_pretrain_model 可以下载后解压到old_pretrain_model目录

量化的模型我们打了个包，使用方便，但是效果目前来看很成问题：INT4需要大约6G显存，INT8需要大约8G显存，在Doctor_GLM/chat_lora_quant.ipynb下使用from load_quantization import load_int tokenizer, model = load_int(‘DoctorGLM-6B-INT8-6merge-int8.pt’,8) response, history = model.chat(tokenizer, “我爷爷高血压可以喝咖啡吗”, history=[], max_length=2048) print(response)

模型下载链接： INT4 INT8 量化方法均为分层的线性量化。目前量化模型的性能仍有较大问题，后期我们会对量化方法和模型进行更新

p-tuningv2

官方提供了p-tuningv2的实现，新版本权重可以在hugging face上下载，也可以从我们的链接下载 pretrain_model
p-tuningv2的权重在 ptuning_weight ，下载后解压到ckpt/ptuningv2目录下, 然后使用Doctor_GLM/chat_ptuning_v2.ipynb，根据需要调整quantization_bit为4或8

模型在线部署

为了方便部署并随时调整模型生成回答时的参数，我们提供了基于 Gradio 库的部署代码，路径为 Doctor_GLM/gradio.ipynb。运行之后，访问本机的7860或者代码声明的其他端口即可以运行Demo，模型在生成回答时的参数可以由用户自由调控。若想让部署的模型可以被局域网之外的其他用户访问，需要将sharing设置为 True（默认为False）。部署之后运行效果如下所示：

即将到来的更新

(2023.4.21) 对话中加入参考文献，模型上传到huggingface

第一次运行会下载chatGLM-6B权重, 如果已有chatGLM-6B权重可以将data_utils.py里的路径修改为自己的权重目录

结果示例

我们随机跑了100个结果，在 ./results目录下，两份json文件分别为由ChatGLM, DoctorGLM得到的结果，目前存在大量复读机。

引用

@article{xiong2023doctorglm,
  title={Doctorglm: Fine-tuning your chinese doctor is not a herculean task},
  author={Xiong, Honglin and Wang, Sheng and Zhu, Yitao and Zhao, Zihao and Liu, Yuxiao and Wang, Qian and Shen, Dinggang},
  journal={arXiv preprint arXiv:2304.01097},
  year={2023}
}

BenTsao

本草[原名：华驼(HuaTuo)]: 基于中文医学知识的大语言模型指令微调

本项目开源了经过中文医学指令精调/指令微调(Instruction-tuning) 的大语言模型集，包括LLaMA、Alpaca-Chinese、Bloom、活字模型等。

我们基于医学知识图谱以及医学文献，结合ChatGPT API构建了中文医学指令微调数据集，并以此对各种基模型进行了指令微调，提高了基模型在医疗领域的问答效果。

News

[2023/08/07] 🔥🔥增加了基于活字进行指令微调的模型发布，模型效果显着提升。 🔥🔥

[2023/08/05] 本草模型在CCL 2023 Demo Track进行Poster展示。

[2023/08/03] SCIR实验室开源活字通用问答模型，欢迎大家关注🎉🎉

[2023/07/19] 增加了基于Bloom进行指令微调的模型发布。

[2023/05/12] 模型由”华驼”更名为”本草”。

[2023/04/28] 增加了基于中文Alpaca大模型进行指令微调的模型发布。

[2023/04/24] 增加了基于LLaMA和医学文献进行指令微调的模型发布。

[2023/03/31] 增加了基于LLaMA和医学知识库进行指令微调的模型发布。

BianQue

基于主动健康的主动性、预防性、精确性、个性化、共建共享、自律性六大特征，华南理工大学未来技术学院-广东省数字孪生人重点实验室开源了中文领域生活空间主动健康大模型基座ProactiveHealthGPT，包括：

经过千万规模中文健康对话数据指令微调的生活空间健康大模型扁鹊（BianQue） – 经过百万规模心理咨询领域中文长文本指令与多轮共情对话数据联合指令微调的心理健康大模型灵心（SoulChat）

我们期望， 生活空间主动健康大模型基座ProactiveHealthGPT 可以帮助学术界加速大模型在慢性病、心理咨询等主动健康领域的研究与应用。本项目为 生活空间健康大模型扁鹊（BianQue） 。

扁鹊健康大数据BianQueCorpus

我们经过调研发现，在健康领域，用户通常不会在一轮交互当中清晰地描述自己的问题，而当前常见的开源医疗问答模型（例如：ChatDoctor、本草(HuaTuo，原名华驼 )、DoctorGLM、MedicalGPT-zh）侧重于解决单轮用户描述的问题，而忽略了“用户描述可能存在不足”的情况。哪怕是当前大火的ChatGPT也会存在类似的问题：如果用户不强制通过文本描述让ChatGPT采用一问一答的形式，ChatGPT也偏向于针对用户的描述，迅速给出它认为合适的建议和方案。然而，实际的医生与用户交谈往往会存在“医生根据用户当前的描述进行持续多轮的询问”。并且医生在最后根据用户提供的信息综合给出建议，如下图所示。我们把医生不断问询的过程定义为 询问链（CoQ, Chain of Questioning） ，当模型处于询问链阶段，其下一个问题通常由对话上下文历史决定。

我们结合当前开源的中文医疗问答数据集（ MedDialog-CN、 IMCS-V2、 CHIP-MDCFNPC、 MedDG、 cMedQA2、 Chinese-medical-dialogue-data），分析其中的单轮/多轮特性以及医生问询特性，结合实验室长期自建的生活空间健康对话大数据，构建了千万级别规模的扁鹊健康大数据BianQueCorpus。对话数据通过“病人：xxx\n医生：xxx\n病人：xxx\n医生：”的形式统一为一种指令格式，如下图所示。

HuatuoGPT

欢迎来到 HuatuoGPT 的存储库，这是一个在庞大的中文医学语料库上训练的大型语言模型 (LLM)。我们与华拓GPT的目标是构建一个更专业的医疗咨询场景‘ChatGPT’。

以下是已发布的内容：

HuatuoGPT-SFT-data：一种混合SFT数据，利用两者的优势，赋予模型类似医生和患者友好的特性。
HuatuoGPT 模型：HuatuoGPT 模型权重（HuatuoGPT-7B 和 HuatuoGPT-13B）和在线演示。 HuatuoGPT-7B 在 Baichuan-7B 上训练， HuatuoGPT-13B 在 Ziya-LLaMA-13B-Pretrain-v1 上训练.
医学评估基准：用于评估医学场景中LLM的评估方法。

动机

满足在线和医院快速医疗咨询不断增长的需求，这些需求不一定需要深厚的医学知识。我们相信像HuatuoGPT这样的LLM可以有效地满足这些需求，从而释放医生的时间和精力来处理更复杂的病例。 – 为培训医学LLM提供开放数据。为法学硕士构建高质量的教学培训数据至关重要，但也可能具有挑战性。我们使用各种方法构建了医疗指导数据并将其公开。该数据集可以与其他数据集结合来训练自己的医学‘ChatGPT’。 -强调在使用医学LLM为患者提供医疗帮助之前仔细评估其能力的重要性。我们认识到法学硕士在医学领域的潜在好处，但也承认需要进行彻底的评估和测试，以确保患者的安全和准确的诊断。

Med-ChatGLM

本项目开源了经过中文医学指令精调/指令微调(Instruct-tuning) 的ChatGLM-6B模型。我们通过医学知识图谱和GPT3.5 API构建了中文医学指令数据集，并在此基础上对ChatGLM-6B进行了指令微调，提高了ChatGLM在医疗领域的问答效果。

QiZhenGPT

本项目利用启真医学知识库构建的中文医学指令数据集，并基于此在Chinese-LLaMA-Plus-7B、CaMA-13B、ChatGLM-6B模型上进行指令精调，大幅提高了模型在中文医疗场景下效果，首先针对药品知识问答发布了评测数据集，后续计划优化疾病、手术、检验等方面的问答效果，并针对医患问答、病历自动生成等应用展开拓展。

ChatMed

以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model, LLM）掀起了新一轮自然语言处理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到业界广泛关注。

为推动LLM在中文医疗领域的发展和落地，提升LLM的医疗知识与回答医学咨询的能力，我们现推出 ChatMed 系列中文医疗大规模语言模型:

– 🚀 ChatMed-Consult : 基于中文医疗在线问诊数据集ChatMed_Consult_Dataset 的50w+在线问诊+ChatGPT回复作为训练集。模型主干为 LlaMA-7b,融合了 Chinese-LlaMA-Alpaca 的LoRA权重与中文扩展词表，然后再进行基于LoRA的参数高效微调。我们将全部数据和代码都进行了公开。我们也将部署一个在线Gradio demo, 敬请关注。 – 🚀 ShenNong-TCM-LLM : 大模型赋能中医药传承。这一模型的训练数据为中医药指令数据集ChatMed_TCM_Dataset。以我们开源的中医药知识图谱为基础，采用以实体为中心的自指令方法(entity-centric self-instruct)，调用ChatGPT得到11w+的围绕中医药的指令数据。ShenNong-TCM-LLM模型也是以LlaMA为底座，采用LoRA微调得到。

模型介绍

训练数据：中文医疗在线问诊数据集ChatMed_Consult_Dataset 的50w+在线问诊+ChatGPT回复作为训练集。我们发现，在线爬取的问诊数据，虽然可以反映真实世界的用户/患者的问诊需求，但是一般网上的回答良莠不齐。所以我们调用ChatGPT ( gpt-3.5-turbo)得到问诊的回复。 (⏳ todo: 实现一个评估模型，给人工回复进行评分。调用大模型的token毕竟烧钱)
模型基座：目前我们开源了基于LlaMA-7b的 ChatMed-Consult 模型。后续我们将会尝试不同的模型底座，比如LlaMA-13b，MOSS等。
代码：模型训练所需要的全部代码见 ChatMed-Consult 训练代码。训练中我们借助DeepSpeed(ZeRO stage 3)实现分布式训练。
模型权重下载：由于我们目前采用模型是基于Llama-7b进行参数高效微调，所以我们只上传了参数高效微调模块的权重，见 ChatMed-Consult模型权重。

强烈推荐收藏官网

官网 https://fyzai.com海量AI学习资源、最新最热AI工具，建议收藏

点击 – 收藏备用网址老站点，建议一起收藏，找到回家的路

添加官方微信

疯语咒AI ：AI技术和AI教育的先行者，每个人都能获取海量的AI学习材料，包括AI课程、AI学习视频、AI项目、AI代码、AI研究论文、AI基础理论、深度学习、机器学习、提示词课程、大语言模型训练和微调、AI绘画设计以及AI工具(chatgpt、midjourney、stable diffusion、claude2、brad、huggingFace…

AI干货|大语言模型:开源-医疗-大模型[疯语咒AI]

DoctorGLM

训练数据

使用

lora

p-tuningv2

模型在线部署

最近更新

即将到来的更新

结果示例

引用

BenTsao

BianQue

最近更新

扁鹊健康大数据BianQueCorpus

HuatuoGPT

动机

Med-ChatGLM

QiZhenGPT

ChatMed

模型介绍

强烈推荐收藏官网

添加官方微信

最新文章

AI干货|大语言模型:开源-医疗-大模型[疯语咒AI]

最近更新

扁鹊健康大数据BianQueCorpus

动机

模型介绍

强烈推荐收藏官网

添加官方微信

最新文章

更多相关内容