AI分享|这张动图完美展示了机器学习的运行机制!

机器学习的基本原理,看这一张图就够了!刚在linkedin上看到一张不错的gif图,这里分享给大家。

AI分享|这张动图完美展示了机器学习的运行机制!

机器学习模型的内部工作原理如何工作?可以将下列场景代入到这个运行流程中。


代入案例:

收入(Income)贷款(Loan)是我们用这个模型探索的两个基本变量。

目标是根据各种输入特征(Features)(包括年龄、性别和分数)以及他们的贷款状态来预测个人的收入。 


以下是我们如何构建模型的分步细分: 

1. 初始数据集(Initial Dataset我们从一个包含个人信息的数据集开始,包括他们的收入、贷款状态、年龄、性别和分数。 

2. 探索性数据分析 (EDA)我们执行彻底的 EDA,以深入了解数据、发现模式并识别潜在挑战。 

3. 数据清理(Data Cleasing)我们确保数据集没有错误、不一致和缺失值。 

4. 数据管理(Data Curation)删除冗余功能以简化数据集并提高模型性能。 

5. 预处理数据集(Data Preprocessing)我们使用PCA(主成分分析)LDA(线性判别分析)等技术对数据进行预处理,以减少维度并提取有意义的特征。 

6. 用作训练集(Use as Training Set)预处理后,我们将数据集拆分为训练集和测试集。训练集用于教授数据中的模型模式和关系。 

7. 学习算法和超参数优化(Learning Algorithms & Hyperparameter Optimization)我们应用各种学习算法,如SVM(支持向量机),LR(逻辑回归),KNN(K-最近邻),DT(决策树)和RF(随机森林)。这些模型的超参数使用网格搜索进行微调,以实现最佳性能。 

8. 特征选择(Feature Selection)我们选择对结果有重大影响的最相关的特征,以避免过度拟合并提高可解释性。

9. 交叉验证模型(Cross-Validation Model)为了验证模型的稳健性,我们采用交叉验证技术来衡量其泛化性能。 

10. 训练模型和预测的Y值(Trained Model & Predicted Y values)训练模型后,我们使用测试集对看不见的数据进行预测。 

11. 评估指标(Evaluation Metrics)我们使用各种指标来评估模型的性能,例如分类准确性、灵敏度、特异性、MCC(马修斯相关系数)、RMSE(均方根误差)、MSE(均方误差)和 R²(R 平方)回归任务。 

12. 回归(Regression)我们通过回归分析探索输入特征与收入之间的关系。 

13. 评估模型性能(Evaluate Model Performances)我们评估模型在给定数据集上的表现,并在需要时进行必要的调整。 

14. 其他模型(Additional Models)我们还尝试了随机搜索和梯度提升(GB),以比较它们与RF的性能。 

15. 最终模型(Final models)已准备好对新数据进行预测,帮助我们深入了解个人的收入水平及其贷款状况。 

AI分享|这张动图完美展示了机器学习的运行机制!

以上,最好的方法还是实践,不妨用python执行一遍上述过程,相信你必定会成就感爆棚!


参考文献:

[1]https://www.linkedin.com/posts/ravitjain_how-does-the-inner-workings-of-a-machine-activity-7094543927134842880-RIFy/?utm_source=share&utm_medium=member_ios

原创文章,作者:门童靖博士,如若转载,请注明出处:https://www.agent-universe.cn/2023/08/10921.html

Like (0)
Previous 2023-08-11 18:25
Next 2023-08-13 12:07

相关推荐

  • 大模型日报(4月16日 学术篇)

    欢迎观看大模型日报,如需进入大模型日报群和空间站请直接扫码。社群内除日报外还会第一时间分享大模型活动。 欢迎大家一起交流! 论文 01 Megalodon:具有无限上下文长度的高效…

    2024-04-16
    214
  • 大模型日报(7月30日 学术篇)

    我们希望能够搭建一个AI学习社群,让大家能够学习到最前沿的知识,大家共建一个更好的社区生态。 「奇绩大模型日报」知识库现已登陆飞书官方社区: https://www.feishu.…

    2024-07-30
    211
  • 用AI ChatGPT写文献综述?最新的文献来告诉你!

    这里有一篇最新的文献,来告诉你怎样用AI写文献综述! 早上工作群里收到一个消息,是一篇正式发布于4月3号的文献,主题是关于如何使用生成式AI来做管理研究工作。 通俗说来,就是用AI…

    2023-04-09
    163
  • 一眼看透机器学习中的欠拟合(Underfitting)和过拟合(Overfitting)

    第一篇文章没有漂亮的开场白,想到哪就写哪,只因发现一个特别有趣的东西而已。 众所周知,无论是学术界还是产业界,人工智能乃当下大热,而机器学习作为其中的重要分支,亦是热中之热,重中之…

    2022-07-12
    220
  • 大模型日报(4月29日 学术篇)

    我们希望能够搭建一个AI学习社群,让大家能够学习到最前沿的知识,大家共建一个更好的社区生态。如果想和我们空间站日报读者和创作团队有更多交流,欢迎扫码。 欢迎大家一起交流! 论文 0…

    2024-04-29
    164
  • 大模型日报(6月13日 学术篇)

    我们希望能够搭建一个AI学习社群,让大家能够学习到最前沿的知识,大家共建一个更好的社区生态。如果想和我们空间站日报读者和创作团队有更多交流,欢迎扫码。 欢迎大家一起交流! 论文 0…

    2024-06-13
    143
  • 大模型日报(5月27日 学术篇)

    我们希望能够搭建一个AI学习社群,让大家能够学习到最前沿的知识,大家共建一个更好的社区生态。如果想和我们空间站日报读者和创作团队有更多交流,欢迎扫码。 欢迎大家一起交流! 论文 0…

    2024-05-27
    159
  • ChatGPT自动生成代码不靠谱,是真的吗?

    ChatGPT自动生成代码快得飞起,然而,这篇文献说它生成的代码漏洞百出?是真的吗?是AI的缺陷,还是我们不懂AI? 来看这篇文章~ 学术界对大型语言模型如ChatGPT始终保持着…

    2023-04-23
    260
  • 大模型日报(5月17日 学术篇)

    特别活动 我们希望能够搭建一个AI学习社群,让大家能够学习到最前沿的知识,大家共建一个更好的社区生态。如果想和我们空间站日报读者和创作团队有更多交流,欢迎扫码。 欢迎大家一起交流!…

    2024-05-17
    162
  • #文献阅读# 物联网行业应用文献综述 (Internet of Things in Industries: A Survey)

    前两天收到导师推荐的一篇相关主题的Survey文章,建议我精读并拆解一下文章的结构和逻辑,以便我后续的文章写作,于是我开始这篇文章的阅读与拆解之旅。 Xu, L. D., et a…

    2022-07-25
    147