科学家开发了人工智能可以将大脑活动转化为文本

科学家开发人工智能将大脑活动转化为文本

计算机生成的大脑图像

美国研究人员在人们说话时跟踪神经数据。

读心术更接近现实:科学家开发了人工智能，可以将大脑活动转化为文字。

尽管该系统目前只能在有人大声说话时检测到特定的神经模式，但专家表示，它最终可能会帮助那些不能说话或不能交流的患者，比如那些患有闭锁综合征的患者。

旧金山加利福尼亚大学的约瑟夫·马金博士参与了这项研究，他说:“我们还没有做到这一点，但我们认为它可能是健全的”修复术的基础。"

马金和他的同事在《自然神经科学》杂志上发表了一篇[的文章，揭示了他们是如何开发这个系统的。首先招募四名参与者，然后将电极阵列植入他们的大脑，以监测神经元的变化。

参与者被要求大声朗读50个句子，包括“蒂娜·特纳是一名流行歌手”和“小偷偷了30颗珠宝”。研究小组在他们说话时跟踪他们的大脑神经活动。

然后，这些数据被输入到机器学习算法中，这是一个人工智能系统，将每个口语句子的大脑活动数据转换成一串数字。

为了确保这些数字只与语言有关，系统将一小块大脑活动数据预测的声音与实际记录的声音进行比较。这个数字串然后被输入到系统的第二部分，第二部分把它转换成一系列的单词。

起初，系统给出无意义的句子。然而，当系统将每个单词序列与实际朗读的句子进行比较时，可以更好地理解数字串和单词之间的关系以及哪些单词易于相互跟随。

后来，研究小组测试了该系统，并根据单独说话时的大脑活动生成了书面文本。

但是目前的制度并不完善。例如，《自然神经科学》被编译为《音乐家们的绝妙和声》，《菠菜是名歌手》被编译为《一卷靠墙的铁丝》。

然而，该团队发现新系统的准确度比以前的方法高得多。虽然准确性因人而异，但对于一个参与者来说，平均每个句子只有3%需要纠正，这高于专业手工抄写员5%的错误率。然而，该团队强调，与后者不同，该算法只能处理少量的句子。

马金说:“如果你试图跳出这个范围，解码会变得更糟。”他补充说，该系统可能需要结合学习特定的句子、从大脑活动中识别单词和别英语中的一般模式。

该团队还发现，在一个参与者的数据上训练算法意味着最终用户需要的训练数据减少了33，354个，这可能会减轻患者的训练负担。

克里斯蒂安·赫夫博士在马斯特里赫特大学任教，他是该领域的专家，没有参与这项研究。他说，这项研究非常令人兴奋，因为该系统为每个参与者使用了不到40分钟的训练数据，并且只收集了有限的句子，而不是通常需要的数百万小时。

“通过这样做，他们已经达到了迄今为止还没有达到的精确度，”他说。

然而，他指出，该系统不能用于许多重度残疾患者，因为它依赖于人们大声说出一个句子时记录的大脑活动。

他说:“当然，这是一个伟大的研究，但是那些人也可以使用‘好的谷歌’。”"这不是思想的翻译，而是语言的大脑活动."

赫夫说，人们不必担心别人会读懂他们的想法。必须植入:个大脑电极，想象的语言和内心的声音是非常不同的。

但是谢菲尔德大学的脑机接口专家Mahnaz Arvaneh博士说，现在考虑伦理问题是很重要的。她说:“我们离能够读取我们思想的机器仍然非常非常远。但这并不意味着我们不应该考虑它。”

参考:

1.用编码器-解码器框架将皮层活动机器翻译成文本神经病学杂志(2020).