武子康
大语言模型 11 - 从0开始训练GPT 0.25B参数量 MiniMind2 准备数据与训练模型 DPO直接偏好优化
本文详细介绍了GPT模型的训练流程，涵盖了从数据准备到推理部署的各个关键阶段。首先，通过下载并预处理数据集（如pretrain_hq、sft_512、sft_2048、dpo等），为模型训练奠定基础。接着，使用双卡进行预训练，训练参数量为104M的模型。随后，分别在sft_512和sft_1024数据集上进行微调训练，并测试模型性能。最后，进行DPO（Direct Preference Optimization）训练，调整batch_size以避免显存溢出。整个流程展示了GPT模型从数据准备到最终部署的完整
李孟聊人工智能 
山北雨夜漫步
机器学习 Day18 Support Vector Machine ——最优美的机器学习算法
我们只说SVM用于分类的推导，并且只说用于二分类的推导，多分类会由二分类得到数据在空间中常常被分为3类：线性可分，近似线性可分，线性不可分，在SVM中分别对应的就是硬间隔，软间隔，核技巧，文章会一一解释：最直观的想法就是我们可以直接通过一条线对这个线性可分的模型进行处理，比如说就是这条直线（二维是直线，高维就是超平面了），直线方程可以是图中方程，然后我们给一个预测样本，我们就去带入这个超平面，如果这个在上方就是正类，下方就是负类，所以模型就是这样：我们承认的是一般情况下如果存在一条直线可以把 两个类分开，那
作者推荐
- xiangzhihong8
- 著有《React Native移动开发实战》1，2，3版本、《Kotlin入门与实战》1，2版本、《Weex跨平台开发与实战》、《React Native开发进阶》和《Flutter跨平台开发实战》和《Android应用架构实战》和《鸿蒙应用开发与实战》、《Vue3 项目开发实战》即将出版
关注
