B站虚拟歌手洛天依与AI语音的交响

2023年7月12日下昼7点12分,在B站20多万观众粉丝的见证和祝愿下,这位来自哔哩哔哩的世界首位中文虚拟歌手洛天依迎来了本人十一周年的生日会。除了一如既往热和治愈的歌声外,此次洛天依与观众互动交换时音色活泼的流利语音也遭到粉丝们的出格关注。

自洛天依出道至今,她的措辞交换均是通过歌声合成引擎语调或是真人配音来实现建造。而生日会直播里高度流利的语音,也被观众们普及以为是高水平的AI语调校。其实同伙们有所不知的是,2017生日会洛天依的措辞发声是由斩新的体式格式——野生智能语音手艺创作发明而成。接下来,一起探秘天依背后的“幕后团队”是若何援助虚拟歌手进化出更天然的措辞才能!

作为首位中文虚拟歌手,洛天依怪异的治愈歌声音色遭到了粉丝和公共的普及喜爱。2017,Vsinger和哔哩哔哩叫测验测验室联手为洛天依定制打造AI语音声库。与业界尺度化AI语音差此外是,天依AI语音不单在音色上高度还原了她标志性的歌声音色,也在合成果果上均衡了电子机械感和拟人天然感。如许极具冲破应战的计划,援助天依延续了她独树一帜的音色,也让她的AI发声成果更吻合虚拟歌手的设定。

哔哩哔哩叫测验测验室的方案与通用AI声库建造流程差此外是,洛天依的声音本人也是由手艺天生的,而非人类天然产生的声音,以是不可像大大都声音定制的方案一样,简简略单通过数据采集来定制声线。

想要获取洛天依措辞音频,可以行使洛天依歌声声库,行使Vocaloid等音频合成软件,依照真人措辞的韵律法则,手动调出洛天依措辞音频,俗称语调。这个方式固然能还原音色,可是会有很多局限性。这个方案必要调教师有较高水平的语调校的经验,即便如许也凡是很难调教出天然流利的语音内收留,并且也很难量产。

为了贯穿连接措辞音色和唱歌音色的高度一致,并使措辞显得天然流利,采用了一系列优化。起首,在对洛天依歌声声库举行深进研究和说明的底子上,定制了一版专门的AI语音模型。该方案在保证内收留完全性和音频天然度的同时,能更好地解耦音色、音高和语义等信息。通过将这些要素分隔,能更好地捕捉到洛天依怪异的音色特征,从而高度还原了洛天依的音色。

在模型练习进程傍边,哔哩哔哩叫测验测验室以洛天依歌声声库作为重要的数据源,为了增长模型的泛化才能和适应性,通过行使多个音色的措辞、唱歌数据,让模型进修履新别发音人之间进修到音色、语义、唱腔等差异和接洽关系,从而前进模型对于措辞和唱歌声音的明白和转换才能。使得在保存洛天依唱歌声线的前提下,可以流利自如的举行措辞表白。

在底子特征上行使了哔哩哔哩自研语音识别大模型来提供语义信息,同时也进进了诸如呼吸音的非语义信息来雄厚成果。在保证措辞与唱歌音色贯穿连接高度一致的前提下,也实现了能灵活按需调剂语调、语速、语气等成果,从而使得声音加倍天然生动。此外,为了输出更高质量的洛天依语音,也引进两类差此外判别器,进一步前进了合成音频与方针音频音色的相似度以及合成音频的音质。

一样,在2023年举办的BML和BW洛天依线下展演中,也行使了AI语音声库。除了洛天依,另一位Vsinger虚拟歌手言和也因哔哩哔哩叫测验测验室的手艺撑持,而初次在2017十周年生日会直播上通过AI语音发声交换,信任将来会有更多内收留与同伙们互动。

以洛天依AI语音为契机,看到了野生智能语音手艺为虚拟歌手付与真实的发声才能。在将来,也许能见证AI语音为创作开启更多无穷可能,为观众带来更多听觉震撼,更多的感动与共识!