各有關單位:
人工智能賦能科研,科學技術改變未來。人工智能與學科建設的雙向賦能為實現人工智能與傳統學科的交叉融合、共融共生、相互助力和協同發展奠定了基礎。為推動教育數字轉型、智能升級、融合創新,加快建設高質量教育科研體系,我中心將于8月底舉辦第五期“人工智能深度賦能高校教學與企事業單位科研工作”高級研修班,特邀中國科學院計算技術研究所專家講授大模型原理、關鍵技術、發展歷程、主流大模型應用、微調、RAG和本地部署,以及AIGC多模態應用等內容。現將具體事宜通知如下:
一、主題、內容
(一)大模型的緣起
1.大模型時代人工智能的前夜
2.深度強化學習的高光時刻——AlphaGo
3.大模型ChatGPT源于深度強化學習
4.深度學習模型
(1)稀疏編碼神經網
(2)自動編碼器神經網絡
(3)玻爾茲曼機神經網絡
(4)卷積神經網絡
(5)遞歸神經網絡
5.強化學習模型
(1)強化學習基本要素
(2)馬爾可夫獎勵過程
(3)累積回報最優策略
(二)大模型是怎樣練成的
1.大模型時代的先驅
2.ChatGPT大模型如何訓練
3.大模型關鍵技術突破
(1)大模型LLM兩種實現方式
(2)預訓練語言模型PLM (BERT)
(3)指令調整 Instruction Tuning
(4)強化學習人類反饋對齊RLHF Alignment
(三)大模型的實踐
1.ChatGPT能力
(1)ChatGPT文本生成
(2)ChatGPT情感分析
(3)ChatGPT個性回復
(4)ChatGPT實時翻譯
(5)ChatGPT涌現能力
2.AIGC的實現
(1)3D形狀模態
(2)交叉模態形狀生成
(3)跨模態3D場景視圖合成
3.開源大模型
(1)國內開源大模型
【實踐環節】文心一言、通義千問、MOSS、星火認知、ChatGLM應用
(2)國外開源大模型
【實踐環節】ChatGPT、PaLM、LLaMA、MIMO、Cloude應用
(四)大模型行業應用
1.基于大模型的推薦系統
2.醫學資料檢索增強系統
3.對話式人才獵頭管理和決策
4.基于大模型的AI投資管理平臺
5.基于大模型的金融核查平臺
6.基于電力大模型的設備運檢
7.基于代碼大模型的軟件開發系統
8.基于大模型的組卷和判卷系統
9.基于大模型交通系統
10.基于大模型的汽車問答系統
11.基于大模型的游戲設計
12.基于大模型的智慧辦公
13.基于大模型的智慧型銀行數字員工
(五)大模型技術走向和產業發展趨勢
1.ChatGPT 的缺陷與優化
2.大模型的研究方向
3.大模型的產業發展趨勢
(六)現有大模型和基于大模型的工具介紹
1.現有大模型列表
2.大模型評價體系和榜單
3.大模型公開服務調用方法
4.基于大模型的效率工具介紹
(1)代碼輔助工具Copilot和通意靈碼
(2)論文閱讀工具ChatPaper
(3)Kimi智能助手
【實踐環節】大模型公開服務調用方法
(七)大模型的使用技巧:提示詞工程
1.提示詞基本原理
2.提示詞編寫常用技巧指南
【實踐環節】提示詞編寫實踐
(八)大模型加外部知識庫:檢索增強生成(RAG)方法
1.RAG的定義與基本流程介紹
2.RAG常用框架介紹
(1)Langchain 基本情況與示例
(2)Llamalndex 基本情況與示例
3.RAG框架的優缺點分析
【實踐環節】Langchain本地部署
(九)RAG效果提升技巧
1.多輪檢索
2.精準PDF解析的重要性
【實踐環節】切換不同的PDF解析查看對問答效果的影響
(十)微調和RAG方法的優缺點對比
(十一)大模型的Key Numbers
1.大模型參數量計算方法
2.影響計算量的主要方面:參數量、數據量、上下文長度
3.參數量和GPU的適配關系
(十二)大模型推理部署方法
1.常用推理框架vLLM基本原理
2.vLLM的使用方法
3.vLLM的進階功能:AutoPrefix,Speculative Decoding,量化
(十三)大模型微調方法
1.微調的整體流程介紹
2.微調的數據準備
3.訓練結果評估方法
4.訓練環境準備
5.訓練過程監控
6.訓練完成后的推理評估
二、參加人員
各科研院所、企業單位相關業務骨干及各高校老師。
三、授課專家
何清,中國科學院計算技術研究所研究員,博導,中國人工智能學會會士、副秘書長,常務理事,機器學習專業委員會常務理事, 知識工程與分布智能專業委員會副主任委員。研究領域為機器學習、大數據挖掘和人工智能,提出了基于超曲面的系列機器學習算法,2008年底,開發完成了我國最早的基于云計算的并行大數據挖掘平臺,獲得授權專利10余項,2015年獲得吳文俊人工智能科學技術創新獎二等獎。
曹逸軒,中國科學院計算技術研究所副研究員,研究方向為自然語言處理、機器學習,主要研究內容包括信息抽取、可信AI等。主持國家自然科學基金項目、中國博士后基金項目,參與重點研發項目等。在KDD、WWW、NeurIPS、AAAI、CIKM、ACL、EMNLP等旗艦會議、期刊發表論文10余篇。相關工作在證券行業包括港交所等金融監管機構得到了廣泛使用。
四、時間、地點
線下: 2024年8月22 日-25 日(22 日全天報到)
西安市 (詳細信息報名后另行通知)
線上: 網上同步直播(22日發放直播接收碼和鏈接)
五、參加費用
本次培訓由中國科學院人才交流開發中心主辦、北京中 科創嘉人力資源咨詢有限公司承辦。
收費標準:線下現場參訓 2980 元/人(含:培訓費、資 料、茶歇等) ,住宿統一安排,費用自理;
線上直播培訓 5400 元/單位(含三人名額的直播碼、三張 結業證書)。
收款賬戶和聯系方式請見附件。
附件:第五期“人工智能深度賦能高校教學與企事業單位科研工作”高級研修班報名表
中國科學院人才交流開發中心
2024年7月24日