近年來，人工智慧演算法已經非常擅長向用戶推薦內容，你可能會說，這有點過了。技術公司利用AI根據使用者對內容的反應來最佳化他們的推薦。這對於提供內容的公司來說是好事，因為它會導致使用者在應用程式上花費更多時間併產生更多收入。

但對公司有利的事情並不一定對使用者有利。通常，我們想要看到的並不一定是我們應該看到的。但是，那些商業模式依賴於竊取我們越來越多注意力的公司如何尊重道德規範，同時為使用者提供優質內容？

為了應對這一挑戰，IBM研究院和MIT媒體實驗室的一組科學家開發了一種AI推薦技術，該技術在最佳化使用者偏好的結果的同時，也確保其符合其他約束條件，例如道德和行為準則。在IBM 研究院的人工智慧倫理全球領導者Francesca Rossi的帶領下，科學家團隊在電影推薦系統中展示了AI的功能，允許家長為孩子設定道德約束。

之前曾嘗試將道德規則整合到AI演算法中，但它們主要基於靜態規則。例如，使用者可以指定演算法應該避免推薦的特定列表或新聞類別。雖然這種方法可以在某些環境中使用，但它有其侷限性。

圖片來源：John Williams RUS / Shutte

“定義明確的規則集很容易。”IBM研究員Nicholas Mattei說，“但是在網際網路上的很多東西中，在一個擁有大量資料的區域，你不能總是寫下你希望機器遵循的所有規則。”

為了解決這個問題，Mattei和他的同事開發出了使用機器學習透過例項來定義規則的方法。 “我們認為，透過例項學習什麼是合適的，然後在對線上獎勵的反應中傳遞這種理解，這是一個非常有趣的技術問題。”Mattei說。

以身作則教授道德規範

研究人員選擇電影推薦作為演示專案，因為相當多的電影相關資料已經存在，並且它是使用者偏好和道德規範之間的差異顯而易見的一個領域。例如，父母不希望影片流服務向他們的孩子提供不適當的內容，即使他們的孩子對其表現出積極的反應。

AI推薦技術使用兩個不同的訓練階段。第一階段是離線的，這意味著它發生在系統開始與終端使用者互動之前。在此階段，仲裁器給出系統示例，用於定義推薦引擎應遵守的約束。然後，AI會檢查這些示例以及與它們相關的資料，以建立自己的道德規則。與所有機器學習系統一樣，提供的示例越多，資料越多，建立規則的效果就越好。

以電影推薦為例，在離線訓練階段，父母向AI提供一組適當和不適當內容的示例。 “系統應該能夠從這些例子中學習，從而在與其他使用者，如孩子工作時不推薦某些型別的內容。”Mattei說。

培訓的第二階段是線上與終端使用者直接互動。與傳統的推薦系統一樣，AI試圖透過針對使用者的偏好最佳化其結果，並顯示使用者更傾向於與之互動的內容來最大化其獎勵。

由於滿足道德約束和使用者偏好有時可能是衝突的目標，仲裁者可以設定一個閾值，定義每個人獲得多少優先順序。在IBM提供的演示中，一個滑塊允許父母選擇道德原則和孩子偏好之間的平衡。

很容易看出這個系統如何幫助解決與AI推薦系統工作方式相關的其他問題。 IBM研究人員還在醫療保健中測試了該技術，他們透過在藥物成功變數和生活質量限制之間建立平衡，成功地在藥物劑量中使用該演算法。

該團隊還致力於改進系統可以訓練的示例型別。研究小組的負責人Rossi說：“我們還嘗試了不僅是肯定/沒有約束的例子，而是像優先事項考慮的事情，這樣我們就可以在提供道德行為示例方面更加清晰。”

並非沒有限制

將來，研究團隊將致力於使AI能夠在更復雜的情況下工作。 “在這個用例中，我們專注於單一建議，例如是否應該推薦特定的電影。” Rossi說， “我們計劃擴大這項工作，以便能夠對行動序列施加限制。”

這樣的改變將使演算法能夠解決其他型別的問題，例如過濾氣泡和技術成癮，其中一個無害的動作（例如檢查手機上的通知或從有偏見的來源閱讀新聞）在長期重複時會產生不利影響或與其他類似的行為相結合。

雖然Rossi和她的同事開發的方法在親子或醫患情況下表現良好，但在涉及一個使用者的環境中會遇到限制，這佔我們在網際網路上使用的大多數應用程式。在這種情況下，使用者將負責定義他們自己的道德準則和約束。

“在一些更個性化的系統中，你或許能夠表達一些高級別的想法，比如‘我希望看到更多種類’或‘我希望花更少的時間在手機上’。”Mattei說。“但如果你能表達它們，你也可以覆蓋它們。你必須表達自己的道德準則並堅持下去。”

解決方案可能是讓使用者選擇家庭成員的朋友來設定和控制規則，正如一些技術高管已經嘗試過的那樣。這可能是IBM研究團隊在一個更廣泛的專案中繼續與MIT媒體實驗室合作時所探討問題的一部分，該專案專注於工程道德推理。

IBM研究人員將於7月17日在瑞典斯德哥爾摩舉行的第27屆國際人工智慧聯合會議上展示他們的演算法。