从专用模型到通用大模型

数据

书生.万卷1.0

• 文本
• 图像-文本
• 视频数据

  OpenDataLab开放平台

  • 图像：ImageNet
  • tokens语料：WikiQA
  • 音频
  • 视频：MovieNet
  • 3D模型

    预训练

    微调

    增量续训

    使用场景：让基座模型学习到一些新知识，如某个垂类领域知识

    训练数据：文章、书籍、代码等

    有监督微调

    使用场景：让模型学会理解和遵循各种指令、或者注入少量领域知识

    训练数据：高质量对话、问答数据

    有监督微调分为

    • 全量参数微调
    • 部分参数微调：固定模型主干，只对部分参数更新

      部署

      大语言模型特征

      • 内存开销巨大
        • 庞大的参数量
        • 采用自回归生成token，需要缓存k/v
        • 动态Shape
          • 请求数不固定
          • token逐个生成、且数量不定
          • 模型结构相对简单
            • transformer结构，大部分是decoder-only

              智能体

              由于大语言模型的局限性，例如

              • 最新信息和知识的获取
              • 回复的可靠性
              • 数学计算
              • 工具使用和交互

                因此，需要在LLM的基础上，封装诸多策略和工具，如下图。

                

                轻量智能体框架Lagent

                

                Task1 InternLM-Chat-7B 智能对话 Demo

                bash # 请每次使用 jupyter lab 打开终端时务必先执行 bash 命令进入 bash 中
                /root/share/install_conda_env_internlm_base.sh internlm-demo
                

                下载过程如下

                

                激活并进入虚拟环境

                conda activate internlm-demo
                

                在虚拟环境中安装运行demo所需要的依赖

                # 升级pip
                python -m pip install --upgrade pip
                pip install modelscope==1.9.5
                pip install transformers==4.35.2
                pip install streamlit==1.24.0
                pip install sentencepiece==0.1.99
                pip install accelerate==0.24.1
                

                

                模型下载或复制

                InternStudio 平台的 share 目录下已经为我们准备了全系列的 InternLM 模型，所以我们可以直接复制即可。使用如下命令复制：

                mkdir -p /root/model/Shanghai_AI_Laboratory
                cp -r /root/share/temp/model_repos/internlm-chat-7b /root/model/Shanghai_AI_Laboratory
                

                代码下载

                首先 clone 代码，在 /root 路径下新建 code 目录，然后切换路径, clone 代码.

                cd /root/code
                git clone https://gitee.com/internlm/InternLM.git
                

                

                将 /root/code/InternLM/web_demo.py 中 29 行和 33 行的模型更换为本地的 /root/model/Shanghai_AI_Laboratory/internlm-chat-7b

                开发机终端运行

                我们可以在 /root/code/InternLM 目录下新建一个 cli_demo.py 文件，将以下代码填入其中：

                import torch
                from transformers import AutoTokenizer, AutoModelForCausalLM
                model_name_or_path = "/root/model/Shanghai_AI_Laboratory/internlm-chat-7b"
                tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
                model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='auto')
                model = model.eval()
                system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
                - InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
                - InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
                """
                messages = [(system_prompt, '')]
                print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")
                while True:
                    input_text = input("User  >>> ")
                    input_text = input_text.replace(' ', '')
                    if input_text == "exit":
                        break
                    response, history = model.chat(tokenizer, input_text, history=messages)
                    messages.append((input_text, response))
                    print(f"robot >>> {response}")
                

                在远程终端运行

                python /root/code/InternLM/cli_demo.py
                

                

                

                1938年，晋西北，秋风萧瑟，草木凋零。一座小村庄里，住着一位名叫王老汉的老人。他年过六旬，膝下只有一女，名叫小红。小红从小便被王老汉养大，两人相依为命，过着平淡而幸福的生活。

                然而，日本侵略者的到来打破了这种平静。1937年，日本鬼子突然袭击了王老汉的村庄，村民们纷纷逃窜，王老汉也因此失去了小红。他悲痛欲绝，发誓要为小红报仇雪恨。

                经过几年的准备，王老汉终于等来了复仇的机会。他带领自己的部队，开始了游击战争，与日本鬼子展开了激烈的战斗。在这场战争中，王老汉不惧生死，勇往直前，最终带领部队成功地打败了日本鬼子。

                小红得知后，感激不已，但她却选择了与王老汉分开，前往山区继续开展游击战争。虽然两人的联系已经断绝，但他们之间的感情却更加坚定。最终，王老汉带着胜利的喜悦，带着对小红的思念，离开了人世。

                王老汉的牺牲，让人们更加深刻地认识到侵略者的不义，也让人们更加珍视和平与安宁。他的故事，将永远流传下去。

                web demo运行

                继续在虚拟环境中运行

                streamlit run web_demo.py --server.address 127.0.0.1 --server.port 6006
                

                要想在本地浏览器中打开web页面，还需要配置端口映射，即在本地生成ssh密钥对，将公钥配置到开发机中，配置完成后在本地终端输入端口映射命令。最后的开发机端口点击ssh连接进行查看。

                ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p xxxxx
                

                

                Lagent

                加载模型成功

                

                huggingface-cli下载

                1.安装依赖

                pip install -U huggingface_hub
                

                2.众所周知的原因，需要将镜像源换为国内

                export HF_ENDPOINT=https://hf-mirror.com
                

                

                

                reference

                如何快速下载huggingface模型——全方法总结

                Huggingface 镜像站

                 
                 嘉兴网站建设技术支持  百度网站收录提交入口  专业网站设计公司推荐  如何制作自己的网址  企业网上年检系统