AI学术 | 写Research Proposal, Claude和ChatGPT哪家强？

Claude和ChatGPT这两个AI工具，在学术领域的工作当中到底哪家强呢？

这不是一个容易回答的问题，需要对学术领域的具体问题，进行全面的考察，我们不妨一步步来～

下面我们来简单地做个比较，主要从两个方面，一是看看他们自己怎么说，其二就是拿学术领域常用的，且具体领域的具体问题来询问，分别看看两者的效果如何。

限于篇幅，实践部分这篇文章就以Brainstorming中的Research Proposal为例，来对二者进行比较，后续也会就学术工作中，更多主题进行比较分析，以供大家参考。

一. 王婆卖瓜

我们以同样的问题，分别来问Claude和ChatGPT。（为了两个AI工具的理解，以及后续领域问答的精准度，这里直接用英文。）

如下问题，即两者在学术工作上的对比。

“Would you please make a comprehensive comparison of two AI tools, named Claude and ChatGPT, for regular academic research?”

先看Claude的回答：

为了让回答更容易看懂，我让Claude自行整理了一个表格并翻译如下，这样一看便非常明了：

特性	Claude	ChatGPT
知识库	更多专业学术知识	更广泛的一般知识
语言生成	精确的学术语言	更会谈话
研究思路	提供重点学术方向	可以提出合理的题目
摘要论文	很好地捕捉技术细节	基本的摘要能力
评价论文	可以批判地分析局限性	很少批判分析
引用来源	可以按APA/MLA格式正确引用	无法可靠引用来源
避免偏见	旨在避免人口统计偏见	可能会表现出一些偏见
不正确信息	表示无法准确回答	可能会错误回答
用户基础	专注学术研究者	在学术界之外更广泛采用
上下文处理	设计用于复杂对话	可能失去上下文线索
会话能力	优先学术实用性	更擅长闲聊

“总之，Claude在精确的学术用例方面表现更好，而ChatGPT具有更强的娱乐能力。对需要准确性的严肃研究工作，Claude可能更有用。”

以上回答来自Claude，考察维度很充分，适合我们后续对其能力进行测试，但是对于回答，建议暂时保留。

再看ChatGPT的回答

（抱歉我用的还是ChatGPT3.5，只因为It’s free！）

ChatGPT非常诚实，它说不认识Claude…，因为数据库是基于2021年9月份的。

再次询问，答案依然如故。

但是，仍然不影响我们对其继续比较。

以上对比结果：Claude自卖自夸，ChatGPT无比诚实。

二. 实践对比

我们基于Github中，专门用于学术的Promtps来对两者进行提问。

https://github.com/ahmetbersoz/chatgpt-prompts-for-academic-writing

头脑风暴（Brainstorming)之研究建议（Research Proposal）

我们向两者提出如下问题：

“Write a detailed proposal on the following research topic. Make Sure it is free from plagiarism. [Paragragh]”

这里聚焦一下主题方向， [Paragragh] = “Using clustering techniques to improve the pre-processing of network IoT datasets for a lightweight attack classification model.”

即用聚类的方式来对数据进行预处理，从而生成轻量级的分类模型。

先看Claude的回答：

以上，标题明确，回答也具备结构化，包括：Introduction, Objectives, Methodology, Implication，并给出了总结，Research proposal中除了Literature Review，框架几乎全了。

内容上看，准确度和逻辑也没大问题。

再看ChatGPT：

从以上来看，提纲上ChatGPT的回答明显比Claude更全面，比如增加了该RP的背景和动机、时间计划、大致的预算，因此，从结构上来看，ChatGPT明显更为老道。

此外，ChatGPT从内容上看，聚类具体的技术亦有提到，比如K-means, DBSCAN, hierarchical clustering都有提到。

并且，一些细节体现出ChatGPT更懂学术的文书风格，比如Objectives也更为符合学术中的研究目的，一般2～3个，而Claude相对生硬一些，objectives太多，并且有些是方法，而不是目的。比如 “Apply clustering algorithms like k-means, DBSCAN, and hierarchical clustering to pre-process network IoT data.”

最关键的是，尽管ChatGPT 3.5的数据是截止于2021年9月，但在知识的表现上，Claude2.0也并没有超出ChatGPT。当然，这也可能是因为这个Research Proposal相对比较泛。

以上，从Research Proposal的维度来看，ChatGPT 3.5 在RP的主要提纲、行文风格、以及内容丰富程度明显略胜于 Claude 2.0一筹；

在具体技术内容上，比如聚类技术、轻量化模型、模型验证方面，两者相当。

以上供参考，大家也可以对自己领域的RP尝试对比～

参考资料：

[1] https://claude.ai/chat/

[2] https://chat.openai.com/

[3]https://github.com/ahmetbersoz/chatgpt-prompts-for-academic-writing

[4] https://www.youtube.com/watch?v=MS1HvgN-vSQ

HAVE FUN!

Let’s SciChat，你的专属AI学术和工程助手

来扫我吧~