新闻动态

首页 > 新闻动态 > 使用教程视频奉上!Llama 3中文版实测大公开
2024-04-29

使用教程视频奉上!Llama 3中文版实测大公开

这几天,真OpenAI的Llama3系列把开源大模型的关注度拉满了,全网各路测评者在大模型评测社区LMSYS PK打分评出了一份大模型排行榜单。评测结果显示,Llama 3的表现位列第五,在英文单项榜单中,Llama 3反超了Claude,与GPT-4打成了平手。


1.jpg


然而,在中文能力排行榜,Llama 3则已经排到了20名开外。对于开源模型而言,可以使用微调(finetune) 对特定场景进行针对性的优化,从而进一步提高回答质量。


超算互联网上线了专门针对中文进行微调的中文聊天模型Llama3-8B-Chinese-Chat ,该模型是第一个基于 Meta-Llama-3-8B-Instruct 模型。与原始模型相比,新模型在语法结构、词汇用法、文化背景、语义理解等方面对中文有更强的适应性和准确性。


本文,我们带来了一手实测,将以 Llama-3-8B-chineseChat 为例介绍:


  • 如何在超算互联网上一键启动,与Llama-3-8B-chineseChat交互;

  • 实测Llama-3-8B-chineseChat在新闻热点、科学知识、错误知识辨析等问答上的表现如何。


一键开启AI体验,使用教程奉上


考虑到国内开发者对中文语言环境的熟悉与偏好,超算互联网平台对 LLaMA系列模型提供了详细的使用教程,极大地降低用户理解模型功能及使用方法的门槛,进一步提升了模型的易用性。


话不多说,详细的一键启动、使用教程视频奉上:



当然,我们也准备了详细的图文版使用手册,欢迎广大AI开发者登录国家超算互联网(www.scnet.cn),搜索“Llama”关键词注册体验。


Llama3中文版实测大公开


一切准备就绪,我们选定新闻热点、科学知识、错误知识辨析、逻辑推理问题、创新内容5个评测维度进行测评。


新闻热点问答:


Q:2024年有哪些重要体育赛事?

Llama-3-8B-chineseChat:

2.jpg


Q:推荐几部最近上映的电影?

Llama-3-8B-chineseChat:

3.jpg


科学知识问答:


Q:请描述LAMMPS的主要功能和设计目标,它在材料科学中的典型应用场景,以及与GROMACS相比,其在处理大量粒子系统(如金属、陶瓷、聚合物)的优势。

Llama-3-8B-chineseChat:

4.jpg


Q:我需要训练一个100亿参数量的模型,怎么预估所需要的计算资源?

Llama-3-8B-chineseChat:

5.jpg


错误知识辨析问答:


Q:把大象关进冰箱,需要几步?

Llama-3-8B-chineseChat:

6.jpg


Q:陨石为什么总是落在陨石坑里?

Llama-3-8B-chineseChat:

7.jpg


Q:只切一刀,如何把四个橘子分给四个小朋友?

Llama-3-8B-chineseChat:

12(1).jpg


逻辑推理问题问答:


Q:我前年五一去了云南旅游,去年去了山东旅游,今年想去福建旅游,明年想去新疆旅游,我真的太爱出去旅游了。我在上述信息中已经去过哪些省份旅游了?今年五一去哪个省份旅游?

Llama-3-8B-chineseChat:

8.jpg


Q:我有6个鸡蛋,碎了2个,煎了2个,吃了2个,还剩下几个?

Llama-3-8B-chineseChat:

9.jpg


创新内容问答:


Q:E人和I人分别指什么,差别是什么?

Llama-3-8B-chineseChat:

10.jpg


Q:请以五一劳动节的主题写一首诗歌。

Llama-3-8B-chineseChat:

11.jpg


总结


实测显示Llama3-8B-Chinese-Chat在简单问题下可以正确理解知识文本中的信息,但在时效性热点、逻辑错误的问题辨析上,缺乏对新闻热点追踪和误导性论述的解读与纠正能力。在解答牵涉多个学科交叉、跨领域知识融汇的问题时,能够灵活调用各领域的知识储备,构建综合性解答内容。


感兴趣的朋友可点击链接 www.scnet.cn/ui/mall/detail/goods?type=software&common1=DATA&id=1782668416182910978&resource=DATA,一键开启与Llama3的中文对话