人工智能有哪些潜在的风险？

一些专家主要关心的不是AI突然具有自我意识，而仅仅是它做出高质量决策的能力。在这里，质量指的是所采取行动的预期结果效用，其中效用函数大概是由人类设计者指定的。人工智能可以选择任何看起来最能实现AI的目标或“效用函数”的行动。效用函数是一种数学算法，导致一个客观定义的答案。研究人员知道如何编写效用函数，比如“最大限度地减少电信模型中的平均网络延迟”或“最大化奖励点击次数”; 然而，程序员（或任何一个人类）不知道如何编写一个效用函数来“最大化人类福祉”（因为我们自己也做不到），目前也不清楚这样一个函数是否有意义且明确地存在。此外，表达某些效用将倾向于忽略其他的效用（鱼和熊掌的问题）。

这里还存在一些问题：

AI效用函数可能与人类的价值并不完全一致，而这些价值很难确定。

AI系统由于无法像人类一样“理解”目标，故可能会被意外地分配错误的目标。

艾萨克·阿西莫夫的机器人法则是人工智能安全措施最早的例子之一。阿西莫夫的法则旨在防止机器人伤害人类。在阿西莫夫的故事中，法律问题往往是由规则之间的矛盾和人类的道德直觉和期望产生的。

对于AI来说，一套切实可行的规则和目标需要包含一个随着时间的推移学习人类价值观的机制，不能只给一个程序一个静态的效用函数，因为环境和我们对环境的期望回应会随着时间而改变。这是问题的难点，也是关键点。

了解更多硅谷前沿深度讯息请看 硅发布 微信公众号。