为什么要用学习率bb

😀

📝

notion image
为什么会出现这种情况
某点的梯度方向是变化最快的方向，大小呢？
但是某点的梯度大小并不能说明，当按照梯度方向走梯度大小的长度，一直在梯度最大的方向
原因在于：在A点沿着梯度方向走动的时候，一旦有任何移动，就不在A点了，此时梯度就变了
但是我的问题来了
梯度就是最大的方向导数
导数就是变化率，这里应该隐含着极限，为了会一步跨大了呢，应该是跨得非常小，要用学习率也应该大于0呀

📎 Reference

    💡
    欢迎补充
     
    Loading...
    目录
    文章列表
    个人站点-主NLP
    欧洲史
    🗒️ 简单欧洲史
    开发工具
    🗒️ docker基础使用、加密
    🗒️ 开发工具
    🗒️ ES基本原理与使用
    Linux
    🗒️ Linux基本命令
    🗒️ supervisord
    计算机软件
    🗒️ Linux
    🗒️ 计算机软件
    🗒️ 建站-域名配置
    DL-训练
    🗒️ training LLM from scratch
    🗒️ DL-训练
    🗒️ GPT-4 Architecture, Infrastructure, Training Dataset, Costs, Vision, MoE
    🗒️ Constitutional AI: Harmlessness from AI Feedback
    🗒️ ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING
    历史-欧洲史
    🗒️ 欧洲史
    历史-中国史
    🗒️ 中国史
    中国史
    🗒️ 明朝政治架构
    DL-公式推导
    🗒️ DL-公式推导
    🗒️ loss 公式梳理
    🗒️ 优化算法
    🗒️ 基础概念再次厘清
    DL-算法原理
    🗒️ DL-算法原理
    🗒️ Tokenizer
    🗒️ 神经网络优化算法
    DL-工程化
    🗒️ DL-工程化
    🗒️ 分布式理论
    计算机硬件
    🗒️ 计算机硬件
    🗒️ 硬件-英伟达GPU架构史
    🗒️ 硬件-NvLink
    🗒️ 硬件-ARM和AMD
    🗒️ GPU硬件-浮点数
    可解释性
    🗒️ 可解释性
    🗒️ Language models can explain neurons in language models
    LLM-基础
    🗒️ 参数与显存
    🗒️ BPE、WordPiece、Unigram LM、SentencePiece
    传统NLP
    🗒️ 传统NLP
    🗒️ Neural Temporal Relation Extraction
    🗒️ Distant Supervision for Relation Extraction with Sentence-Level Attention and Entity Descriptions
    🗒️ Relation Extraction
    社会运转
    🗒️ 社会运转
    🗒️ 中国权利结构
    训练框架
    🗒️ EasyLM详解（一）总体结构
    Benchmark
    🗒️ InfiAgent-DABench: Evaluating Agents on Data Analysis Tasks
    生活记录
    🗒️ 生活记录
    🗒️ 人间有味
    🗒️ 户外露营点
    技术报告
    🗒️ Marco-o1: Towards Open Reasoning Models for Open-Ended Solutions
    强化学习
    🗒️ 强化学习
    🗒️ 蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）