中国大模型语料数据联盟开源发布高质量多模态语料“书生·万卷”
继今年7月在2023世界人工智能大会发起成立“中国大模型语料数据联盟”(以下简称“语料数据联盟”),上海人工智能实验室(上海AI实验室)于8月14日宣布,联合语料数据联盟成员单位,共同开源发布“书生·万卷”1.0多模态预训练语料。
“书生·万卷”1.0目前包含文本数据集、图文数据集、视频数据集三部分,本次开源的数据总量超过2TB。该语料数据包含超过5亿个文本,2200万个图文交错文档,1000个节目影像视频,具备多元融合、精细处理、价值对齐、易用高效等四大特征。
集合语料数据联盟成员丰富的内容积累与上海AI实验室领先的数据处理能力等优势,“书生·万卷”将为学术界及产业界提供更符合主流中文价值对齐的高质量大模型多模态预训练语料。
(相关资料图)
跨界联合,共建宽领域语料库
本次开源的“书生·万卷”1.0包含文本、图文、视频三部分数据集。其中文本数据为来自网页、百科、书籍、专利、教材、考题等不同来源的清洗后预训练语料,数据总量超过5亿个文档,数据大小超过1TB,覆盖科技、文学、媒体、教育、法律等多个领域。
图文数据主要来自公开网页,经处理后形成图文交错文档。文档总量超过2200万个,数据大小超过140GB(不含图片),覆盖新闻事件、人物、自然景观、社会生活等多个领域。
视频数据主要来自中央广播电视总台和上海文广集团,包含新闻、影视等多种类型的节目影像,总计视频文件数超过1000个,数据大小超过900GB,内容覆盖军事、文艺、体育、自然、真实世界、知识、影像艺术、媒体、美食、历史、科教等方面。
精细处理构建高质量预训练语料
高质量、大规模、安全可信的语料数据对于大语言模型的训练和性能提升至关重要。基于语料数据联盟构建的语料库,上海AI实验室对其中部分数据进行细粒度清洗、去重以及价值对齐,形成了高质量多模态预训练语料“书生·万卷”1.0,具备多元融合、精细处理、价值对齐、易用高效等四大特征。
在多元融合方面,“书生·万卷”1.0包含文本、图文、视频等多模态数据,范围覆盖科技、文学、媒体、教育、法律等多个领域,在训练提升模型知识含量、逻辑推理和泛化能力方面具有显著效果。
在精细处理方面,“书生·万卷”1.0经历了语言甄别、正文抽取、格式标准化、基于规则及模型的数据过滤与清洗、多尺度去重、数据质量评估等精细化数据处理环节,因而能更好地适配后续的模型预训练需求。
在价值对齐方面,研究人员在“书生·万卷”1.0的构建过程中,着眼于内容与中文主流价值观的对齐,通过算法与人工评估结合的方式,提升了语料的纯净度。
在易用高效方面,研究人员在“书生·万卷”1.0采用统一格式,并提供详细的字段说明和工具指导,使其兼顾了易用性和效率,可快速应用于语言、多模态等大模型预训练。
据悉,高质量、多模态、宽领域的数据支持已成为当前人工智能大模型发展的重要基石,中国大模型语料数据联盟将持续通过开源开放,共建包容、开放、有序、共享的人工智能大生态。
上海人工智能实验室是我国人工智能领域的新型科研机构,目标为建成国际一流的人工智能实验室,成为享誉全球的人工智能原创理论和技术的策源地。
中国大模型语料数据联盟是由上海人工智能实验室联合国家气象中心、上海数据集团、上海市数商协会等单位联合发起成立的开放组织。旨在通过链接模型训练、数据供给、学术研究、第三方服务等多方面机构,联合打造多知识、多模态、标准化的高质量语料数据,探索形成基于贡献、可持续运行的激励机制,打造国际化、开放型的大模型语料数据生态圈。
(文章来源:上海证券报)
关键词:
您可能也感兴趣:
为您推荐
杭州用安软件有限公司(关于杭州用安软件有限公司的简介)
深圳南山医院书记邓某情妇成立公司揽医院工程?卫健部门:纪检部门介入调查
澳大利亚潜在罢工活动造成供应风险 欧洲气价攀升
排行
最近更新
- 中国大模型语料数据联盟开源发布高质量多模态语料“书生·万卷”
- 交易商协会:积极推动信用风险缓释工具业务发展 上半年达成...
- [快讯]苏交科:关于持股5%以上股东、董事、高级管理人员减持计...
- 博德之门3.亮结社流德鲁伊BD推荐一览
- 被讨论到三十年后的现在!雷军分享大二编写的语言开发程序
- 防护手套概念龙头股一览(2023/8/14)
- 重卡概念龙头股票有哪些? (2023/8/14)
- 中汽协:7月新能源汽车产销分别完成80.5万辆和78万辆 同比分...
- 【侠客岛 | 解局】白宫一纸限令,芯片巨头急了
- 普京经济顾问指责:卢布贬值是俄罗斯央行的错!
- 移远通信(603236.SH):控股股东钱鹏鹤拟减持不超2%股份
- 瑞芯微(603893.SH)发布半年度业绩,净利润2480万元,同比下降90.89%
- 任贤齐上海演唱会门票怎么买(开票时间+抢票入口)
- 农网零售终端升级 推动乡村经济振兴
- 中航信托声明:公司运行一切正常,针对不实信息已向公安机关报案
- 《遇见喵克斯》怎样解锁飞机场
- Zom 100:死者遗愿清单宣布新的延迟
- 泾阳青训营力促年轻干部“提素强能”
- 多浦乐值得申购吗?上市上市首日会有溢价
- 保荐人突然“撤单” 万向系第5家上市公司IPO“梦碎”
- 科大讯飞上半年营收78.4亿元,大模型商业价值开始显现
- 新风寻味,重现美馔,海信新风空调“穿越了”!
- 塔牌集团:公司购买的中融信托的信托产品并非“非标资金池”产品
- 影像人的狂欢盛宴,精彩明年再约!
- 苏州银行(002966.SZ):执行董事、行长赵琨辞任
- 深圳养老保险转移跨省怎么办理?(流程)
- 吉林2023年养老金认证什么时候开始,2023吉林养老金认证方法...
- 专利申请递交时需要注意的事项
- 冷链赛道不断升温 冷链物流市场现状及发展趋势分析
- 政策密集推出,提振家居产业升级发展