• Introduction of Deep Reinforcement Learning (RL)

    Introduction of Deep Reinforcement Learning (RL)强化学习强化学习与监督学习监督学习监督学习（supervised learning） 假设我们有大量被标注的数据，比如汽车、飞机、椅子这些被标注的图片，这些图片都要满足独立同分布，即它们之间是没有关联关系的。假设我们训练一个分类器，比如神经网络。为了分辨输入的图片中是汽车还是飞机，在训练过程中，需...
      2022-08-16    
    阅读全文Introduction of Deep Reinforcement Learning (RL) 

  • Life long learning

    HW14什么是Life long learningLife long learning意思是终身学习，是指一直使用同一个神经网络去学习不同的任务。实现life long learning大致分为三方面：knowledge retention，knowledge transfer，model expansion。 为什么不让一个模型就学习一个任务，而是要让一个模型学习多个任务？如果是让一个模型...
      2022-08-16    
    阅读全文Life long learning 

  • NLP自监督学习

    NLP自监督学习各种任务上都可以做 Self-supervised Learning“自监督学习”数据本身没有标签，所以属于无监督学习；但是训练过程中实际上“有标签”，标签是“自己生成的”。把训练数据分为“两部分”，一部分作为作为“输入数据、另一部分作为“标注”。 BERT输入一排，输出一排，长度一致。输入换成语音也是一样的 BERT是一个transformer的Encoder，BERT可以...
      2022-08-16    
    阅读全文NLP自监督学习 

  • Python Class for RNN Encoder

    class RNNEncoder(FairseqEncoder):def init(self, args, dictionary, embed_tokens): super().init(dictionary) self.embed_tokens = embed_tokens self.embed_dim = args.encoder_embed_dim self.hi...
      2022-08-16    
    阅读全文Python Class for RNN Encoder 

  • Sequence to sequence

    Sequence to sequenceBatch NormalizationTransformerTransformer和Bert有很大联系 Sequence-to-sequence (Seq2seq)不知道output的长度，需要机器自行决定，例如语音辨识输入语音信号，输出是语音辨识的结果 语音合成语音辨识反过来就是语音合成 聊天机器人 NLP任务往往需要客制化模型 文法剖析 En...
      2022-08-16    
    阅读全文Sequence to sequence 

  • HW11

    HW11任务介绍 通过使用Domain Adaptation的方法将有label的真实照片（5000）来预测没有label的黑白的图案（100000）物体的类别。 训练数据来自GTA-5的街景，测试数据来自真实世界的街景，要求将Feat-A和Feat-B越接近越好 baseline 改进措施 Set proper λ in DaNN algorithm. Training more...
      2022-08-16    
    阅读全文HW11 

  • HW12

    HW12作业描述 Policy Gradient 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354agent.network.train() # Switch network into training mode EPISODE_PER_BA...
      2022-08-16  
    阅读全文HW12 

  • 开始介绍-Machine Learning Spring 2022

    MachineLearning介绍机器学习春季：https://speech.ee.ntu.edu.tw/~hylee/ml/2022-spring.php 学习计划 7月11日 Lecture 1:Introduction of Deep Learning 7月14日 Lecture 2:What to do if my network fails to train 7月17日 Lectu...
      2022-08-16    
    阅读全文开始介绍-Machine Learning Spring 2022 

  • 机器学习-深度学习介绍

    机器学习-深度学习介绍机器学习基本概念机器学习目标：寻找一个函数function，这个函数往往是人类计算起来很复杂的输入：向量、矩阵、序列输出：数值、类别、文档任务： Regression（回归）：函数输出一个标量 Clssification（分类）：给一些类别，函数输出正确的类别 。阿尔法狗可以看作19×19类别的分类 Structured learning（结构化学习）：创造一些结构（...
      2022-08-16    
    阅读全文机器学习-深度学习介绍 

  • 李宏毅第二节

    Lecture 2:What to do if my network fails to trainPRE1训练的三个过程 写出有未知数的function： \theta表示未知的参数 定义Loss：Loss的输入是一组参数，判断这组参数好不好 找\theta：使得Loss的值越小越好 优化训练 检查training data的loss，loss值比较大 分析在训练资料上没学好的原因 如...
      2022-08-16    
    阅读全文李宏毅第二节 
1…1112131415…19