Claude和ChatGPT这两个AI工具，在学术领域的工作当中到底哪家强呢？
这不是一个容易回答的问题，需要对学术领域的具体问题，进行全面的考察，我们不妨一步步来～
下面我们来简单地做个比较，主要从两个方面，一是看看他们自己怎么说，其二就是拿学术领域常用的，且具体领域的具体问题来询问，分别看看两者的效果如何。
限于篇幅，实践部分这篇文章就以Brainstorming中的Research Proposal为例，来对二者进行比较，后续也会就学术工作中，更多主题进行比较分析，以供大家参考。
一. 王婆卖瓜
我们以同样的问题，分别来问Claude和ChatGPT。（为了两个AI工具的理解，以及后续领域问答的精准度，这里直接用英文。）
如下问题，即两者在学术工作上的对比。
“Would you please make a comprehensive comparison of two AI tools, named Claude and ChatGPT, for regular academic research?”
-
先看Claude的回答：
为了让回答更容易看懂，我让Claude自行整理了一个表格并翻译如下，这样一看便非常明了：
| 特性 | Claude | ChatGPT |
|---|---|---|
| 知识库 | 更多专业学术知识 | 更广泛的一般知识 |
| 语言生成 | 精确的学术语言 | 更会谈话 |
| 研究思路 | 提供重点学术方向 | 可以提出合理的题目 |
| 摘要论文 | 很好地捕捉技术细节 | 基本的摘要能力 |
| 评价论文 | 可以批判地分析局限性 | 很少批判分析 |
| 引用来源 | 可以按APA/MLA格式正确引用 | 无法可靠引用来源 |
| 避免偏见 | 旨在避免人口统计偏见 | 可能会表现出一些偏见 |
| 不正确信息 | 表示无法准确回答 | 可能会错误回答 |
| 用户基础 | 专注学术研究者 | 在学术界之外更广泛采用 |
| 上下文处理 | 设计用于复杂对话 | 可能失去上下文线索 |
| 会话能力 | 优先学术实用性 | 更擅长闲聊 |
“总之，Claude在精确的学术用例方面表现更好，而ChatGPT具有更强的娱乐能力。对需要准确性的严肃研究工作，Claude可能更有用。”
以上回答来自Claude，考察维度很充分，适合我们后续对其能力进行测试，但是对于回答，建议暂时保留。
-
再看ChatGPT的回答
（抱歉我用的还是ChatGPT3.5，只因为It’s free！）
ChatGPT非常诚实，它说不认识Claude…，因为数据库是基于2021年9月份的。
再次询问，答案依然如故。
但是，仍然不影响我们对其继续比较。
以上对比结果：Claude自卖自夸，ChatGPT无比诚实。
二. 实践对比
我们基于Github中，专门用于学术的Promtps来对两者进行提问。
https://github.com/ahmetbersoz/chatgpt-prompts-for-academic-writing
头脑风暴（Brainstorming)之研究建议（Research Proposal）
我们向两者提出如下问题：
“Write a detailed proposal on the following research topic. Make Sure it is free from plagiarism. [Paragragh]”
这里聚焦一下主题方向， [Paragragh] = “Using clustering techniques to improve the pre-processing of network IoT datasets for a lightweight attack classification model.”
即用聚类的方式来对数据进行预处理，从而生成轻量级的分类模型。
-
先看Claude的回答：
以上，标题明确，回答也具备结构化，包括：Introduction, Objectives, Methodology, Implication，并给出了总结，Research proposal中除了Literature Review，框架几乎全了。
内容上看，准确度和逻辑也没大问题。
-
再看ChatGPT：
从以上来看，提纲上ChatGPT的回答明显比Claude更全面，比如增加了该RP的背景和动机、时间计划、大致的预算，因此，从结构上来看，ChatGPT明显更为老道。
此外，ChatGPT从内容上看，聚类具体的技术亦有提到，比如K-means, DBSCAN, hierarchical clustering都有提到。
并且，一些细节体现出ChatGPT更懂学术的文书风格，比如Objectives也更为符合学术中的研究目的，一般2～3个，而Claude相对生硬一些，objectives太多，并且有些是方法，而不是目的。比如 “Apply clustering algorithms like k-means, DBSCAN, and hierarchical clustering to pre-process network IoT data.”
最关键的是，尽管ChatGPT 3.5的数据是截止于2021年9月，但在知识的表现上，Claude2.0也并没有超出ChatGPT。当然，这也可能是因为这个Research Proposal相对比较泛。
以上，从Research Proposal的维度来看，ChatGPT 3.5 在RP的主要提纲、行文风格、以及内容丰富程度明显略胜于 Claude 2.0一筹；
在具体技术内容上，比如聚类技术、轻量化模型、模型验证方面，两者相当。
以上供参考，大家也可以对自己领域的RP尝试对比～
参考资料：
[1] https://claude.ai/chat/
[2] https://chat.openai.com/
[3]https://github.com/ahmetbersoz/chatgpt-prompts-for-academic-writing
[4] https://www.youtube.com/watch?v=MS1HvgN-vSQ
HAVE FUN!
Let’s SciChat，你的专属AI学术和工程助手
来扫我吧~
原创文章，作者：门童靖博士，如若转载，请注明出处：https://www.agent-universe.cn/2023/10/10758.html
