每日最新情感日志速递平台 第一时间了解互联网的新鲜句子。
当前位置:主页 > 贝多芬 >

MuseNet 被设计为一个 72 层、具有 24 个注意力头的网络

发布时间:2019-05-07 01:32 类别:贝多芬

  模子的结果是惊人的,不只当天的 Twitch 直播中演示的分歧气概的曲目辨识度高、旋律天然,并且 OpenAI 在引见博客中展现的混搭生成成果(从某首出名乐曲中取一个末节作为开首,然后让模子以其他的气概续写,模子会给出四种成果),以及猎奇的网友们操纵 OpenAI 供给的试验东西生成的乐曲都让大师非常钦佩。我们保举大师到 MuseNet 的官方引见页面亲身测验考试混搭续写东西以及听听已有的生成乐曲。

  这项研究其实是活泼风趣,OpenAI 也但愿大师多多参与勾当,多多会商和反馈,也协助他们选定这项研究的下一步方针。公开参与的时间不断持续到 5 月 12 日,大师快到blog/musenet/ 玩玩听听看吧!

  为了让模子更好地节制乐曲主体内容的布局,OpenAI 为模子设想了多种分歧的嵌入。除了一般的位置嵌入之外,他们额外让模子进修一个嵌入,用它来追踪每个样本中曾经颠末的时间。如许,所有同时响起的音符城市具有同样的时间嵌入。他们还为和弦中的每个音符添加了一个嵌入(这种做法雷同于相对留意力,当模子需要生成第四个音符的时候它会供给第三个音符作为参考,也就让模子更容易进修)。最初,他们还添加了两种分歧的布局嵌入,它们的配合感化是告诉模子某一段音乐在更大的曲目范畴内的位置;此中,第一个嵌入会把大段音乐分为128个部门,第二个嵌入会从127到0倒数,暗示距离结尾还有多远。

  4 月 25 日的 Twtich 作是曲播录像,此前OpenAI本人的工作人员都没有听过这些乐曲;来自 OpenAI 手艺博客

  在 OpenAI 的研究人员们看来,音乐生成使命的难度介于文本和图像之间,它具有和文本雷同的矫捷的序列布局(好比图像中能够固定地参照前 N 个元素,而文本和音乐中的这个数字大小是不固定的)。他们收集了锻炼数据集并测验考试了分歧的锻炼技巧。

  OpenAI 还按照嵌入的进修成果制造了分歧作曲者之间的类似度关系图,也和我们日常的认知很是相符。

  直播的配角是 OpenAI 新缔造的作曲 AI“MuseNet”,它能够创作分歧气概的、时长达 4 分钟的乐曲,气概能够按照分歧的作曲者变化(巴赫、贝多芬、Oscar Peterson、Frank Sinatra、Bon Jovi)、分歧的气概变化(Jazz、Albeniz、片子配乐、村落、印度宝莱坞、迪士尼),并且乐曲中能够利用 10 种分歧的乐器。“MuseNet”利用的是和前段时间 OpenAI 的文本生成模子 GPT-2 雷同的大规模 Transformer 模子,并且为了加强它的长序列建模能力,“MuseNet”也利用了稀少留意力手艺。继前次用 GPT-2 生成接近人类水准的短文之后,OpenAI 仿佛曾经成为了长序列建模的小妙手。

  进修音乐终究是一件有难度的使命,分歧的乐器有分歧的音色,分歧的曲风也有各自的微布局。所以 OpenAI http://djrichb.com/beiduofen/658/


你可能喜欢的