从零开始实现机器学习算法

技术背景

该项目旨在通过纯 Python 和 NumPy 实现一些基础的机器学习模型和算法，重点在于以透明且易懂的方式展示这些算法的内部工作原理，而非追求算法的最优性能和计算效率。

安装步骤

$ git clone https://github.com/eriklindernoren/ML-From-Scratch
$ cd ML-From-Scratch
$ python setup.py install

示例运行

多项式回归

$ python mlfromscratch/examples/polynomial_regression.py

卷积神经网络分类

$ python mlfromscratch/examples/convolutional_neural_network.py

基于密度的聚类

$ python mlfromscratch/examples/dbscan.py

手写数字生成

$ python mlfromscratch/unsupervised_learning/generative_adversarial_network.py

深度强化学习

$ python mlfromscratch/examples/deep_q_network.py

基于受限玻尔兹曼机的图像重建

$ python mlfromscratch/examples/restricted_boltzmann_machine.py

进化神经网络

$ python mlfromscratch/examples/neuroevolution.py

遗传算法

$ python mlfromscratch/examples/genetic_algorithm.py

关联分析

$ python mlfromscratch/examples/apriori.py

实现的算法分类

监督学习

包括 Adaboost、贝叶斯回归、决策树、弹性网络、梯度提升、K 近邻、Lasso 回归、线性判别分析、线性回归、逻辑回归、多类线性判别分析、多层感知机、朴素贝叶斯、神经进化、神经网络的粒子群优化、感知机、多项式回归、随机森林、岭回归、支持向量机、XGBoost 等。

无监督学习

有 Apriori、自动编码器、DBSCAN、FP-Growth、高斯混合模型、生成对抗网络、遗传算法、K-Means、围绕中心点的划分、主成分分析、受限玻尔兹曼机等。

强化学习

包含深度 Q 网络。

深度学习

涵盖神经网络层（激活层、平均池化层、批量归一化层、常量填充层、卷积层、Dropout 层、扁平化层、全连接（密集）层、全连接 RNN 层、最大池化层、重塑层、上采样层、零填充层）以及模型类型（卷积神经网络、多层感知机、循环神经网络）。

最佳实践

在学习和使用这些实现时，可以仔细阅读代码，理解每个算法的核心思想和内部实现细节。同时，可以尝试修改代码中的参数，观察不同参数对算法性能的影响。

常见问题

• 安装问题：如果在安装过程中遇到依赖问题，确保你的 Python 环境中已经安装了所需的库，如 NumPy。
• 运行问题：如果示例代码运行出错，检查代码路径是否正确，以及输入数据是否符合要求。