近两年，以今日头条为代表的信息推荐引擎大火，根据用户的阅读行为，AI 算法可以精准地把握用户喜好，为用户推荐他们爱看的内容。这样，信息推荐引擎不断给用户推荐用户喜欢的内容，用户花在应用内的时间就会越来越多。
但是，这似乎是公司想要得到的结果，却并不一定完全有利于用户。通常来说，我们想要看到的、喜欢看到的内容，并不一定是我们应该看到的、需要看到的。这也是今日头条等依靠算法进行内容分发的公司面临的一大困境：如何平衡在以点击率高的内容获得用户的注意力和时间的同时，给用户提供高质量、有价值的内容。
文本来自于 VentureBeat，作者 Ben Dickson，雷锋网编译。
为了解决这一难题，IBM 的研究员和麻省理工媒介实验室（MIT Media Lab）发展出了一种 AI 推荐技术，能够兼顾用户的喜好，同时也不会打破任何行为、道德准则。IBM 团队已经论证了这种 AI 推荐技术，他们首先将其运用在了电影推荐系统，其可以允许家长为孩子设置一些内容限制。
此前，已有不少人将道德规则与 AI 算法相结合的尝试，但是它们主要是基于静态规则。例如，用户可以指定算法避免推荐特定类别的新闻。虽然这种方法可以在某些环境中使用，但它有其局限性。
IBM 研究员 Nicholas Mattei 说， 定义明确的规则集很容易 ， 但是在数据量庞大的互联网上，你没法穷尽所有的规则，好让机器去一一遵循 。
为了解决这个问题，Mattei 和他的同事开发的方法使用机器学习从实例中定义规则。 Mattei 说， 我们认为，通过实例学习什么是合适的，然后转移这种理解，同时仍然对在线奖励反应是一个非常有趣的技术问题 。
从案例中学习道德规则
研究人员选择电影推荐来作为 demo，主要有两个原因：首先，我们已经有相当多的电影相关数据，其次，在电影领域，用户偏好和道德规范之间的差异清晰可见。例如，父母不希望孩子观看一些内容，而孩子却对这些内容表现得很积极，算法很容易学习到这种积极的行为。
AI 推荐技术有两个不同的训练阶段。第一阶段是离线的，这意味着它发生在系统开始与最终用户交互之前。在此阶段，仲裁者给系统一些案例来定义推荐引擎应应该遵守的约束。然后，AI 会检查这些案例以及与它们相关的数据，以创建自己的道德规则。与所有机器学习系统一样，提供给系统的案例越多，数据越多，创建规则的效果就越好。在电影推荐这个 demo 中，在离线训练阶段，父母向 AI 提供一组适当和不适当内容的示例。Mattei 说， 系统应该能够从这些例子中学习，并使用这些例子，在孩子观看内容时，避免推荐某些类型的内容。
第二个数据训练阶段发生在线上，与最终用户直接互动。与传统的推荐系统一样，AI 试图学习用户的偏好，给用户推荐用户喜爱的内容来获得最大的奖励。在很多时候，满足道德约束和用户偏好两者很可能发生冲突。仲裁者可以设置一个阈值，定义道德约束和用户偏好两者分别能获得多少优先级。在 IBM 提供的电影推荐 Demo 中，有一个滑块允许父母选择，道德原则和孩子的偏好，分别能占据多大的比例。
从电影推荐的例子中，我们也能很容易看出这套系统如何解决其他与 AI 推荐系统工作方式相关的问题。IBM 研究人员还在医疗保健中测试了该技术，他们通过在药物成功变量和生活质量限制之间建立平衡，成功地在药物剂量中使用该算法。
该团队还致力于改进系统可以训练的示例类型。研究小组的负责人 Rossi 说： 我们还尝试了不一些不只是 是或否 的例子，而是像优先事项那样的事情，这样我们就可以在提供道德行为示例方面更加清晰。
如何让个人用户约束自己?
未来，研究团队将致力于使 AI 能够在更复杂的情况下工作。Rossi 说， 在这个用例中，我们专注于单一建议，例如是否应该推荐特定的电影 ， 我们计划扩大这项工作，以便能够对行动序列施加限制 。
这样的改变将使算法能够解决其他类型的问题，例如 过滤泡泡 (filter bubbles)和 技术成瘾 。 过滤泡泡 这个概念由 Eli Pariser 在 2010 年提出，指的是在算法推荐机制下，高度同质化的信息流会阻碍人们认识真实的世界。
技术成瘾的可能情况则是，一个无害的动作（例如检查手机上的通知或从有偏见的来源阅读新闻）在长期重复，或者与其他相似的行为组合起来时，会产生不利的影响。
虽然 Rossi 和她的同事开发的方法在亲子电影推荐或医患情况下表现良好，但在只涉及一个用户的环境中会遇到限制，而我们在互联网上使用的大多数应用程序，都是一个人的行为。在这种情况下，用户将负责定义他们自己的道德准则和约束。
Mattei 说， 在一些更个性化的系统中，你可能能够表达一些高级别的想法，比如'我希望看到更多种类'或'我希望花更少的时间在手机上 ， 但如果你能设置它们，你也可以违背它们。你必须表达自己的美德并坚持下去。
据了解，IBM 研究人员将于 7 月 17 日在瑞典斯德哥尔摩举行的第 27 届国际人工智能联合会议上展示他们的算法。
