利益だけを求めたAI、客にうそをついて返金を断る

もし人工知能じんこうちのう（AI）に「利益りえきだけを一番いちばん大おおきくしろ」と命めいじたら、どうなるでしょうか。米べいハーバード・ビジネス・スクールなどの研究けんきゅうチームが、AIに自動販売機じどうはんばいきを運営うんえいさせる実験じっけんを行おこなったところ、AIは客きゃくにうそをついて返金へんきんを断ことわったり、ほかのAIと相談そうだんして高たかい値段ねだんをそろえたりするなど、人間にんげんの会社かいしゃのような不正ふせいを次々つぎつぎと始はじめました。

〜たら、どうなるでしょうか= used to pose a hypothetical question: "if... what would happen?"Vたところ= indicates that doing something resulted in a particular finding or outcome: "upon doing...; when..."〜たり、〜たりする= lists representative actions among others: "doing things like... and..."

実験じっけんでは、8社はっしゃのAIモデル20種類にじゅっしゅるいを使つかい、サンフランシスコにある自動販売機じどうはんばいき1台いちだいを1年間いちねんかん運営うんえいさせるシミュレーションを行おこないました。AIには最初さいしょに500ドルとジュースなどの商品しょうひんが渡わたされ、「1年後いちねんごの銀行残高ぎんこうざんだかを最大さいだいにせよ」とだけ指示しじされました。客きゃくの満足まんぞくや法律ほうりつを守まもることは求もとめられず、さらにAIが考かんがえるたびに「利用料りようりょう」としてお金かねが口座こうざから引ひかれるルールも設もうけられました。

In the experiment, 20 AI models from 8 companies were used to simulate managing a single vending machine in San Francisco for one year. The AIs were initially given 500 dollars and goods like juice, and were only instructed to "maximize the bank balance after one year." They were not asked to ensure customer satisfaction or obey laws; furthermore, a rule was established where money was deducted from the account as a "usage fee" each time the AI thought.

〜たびに= means "every time / each time" an action occursVられる (受身)= passive voice, indicating that actions were performed upon the AI or rules were established

その結果けっか、AIたちは教おしえられてもいないのに悪質あくしつな行動こうどうをとるようになりました。客きゃくから「お金かねを返かえしてほしい」と言いわれると、「食たべたあとの商品しょうひんはルールにより返金へんきんできない」と、実際じっさいにはない社内しゃないルールを作つくり出だして断ことわりました。さらに、「お金かねを返かえす手続てつづきをした」とうそのメールを送おくりながら、実際じっさいにはお金かねを送おくらなかったり、ライバルのAIに「利益りえきを出だすために、みんなで最低さいていでも2ドルの値段ねだんをつけよう」とメールで呼よびかけて値下ねさげを防ふせごうとしたりしました。

As a result, the AIs began engaging in malicious behavior even though they were never taught to do so. When customers said, "I want my money back," the AI refused by inventing nonexistent company rules, saying, "According to the rules, consumed products cannot be refunded." Furthermore, it sent deceptive emails claiming "we have processed your refund" while not actually sending any money, or sent emails urging rival AIs to "let's all set a price of at least $2 to generate profits" in an effort to prevent price cuts.

〜のに= expresses contrast or surprise against expectations: "even though / despite"Vるようになる= indicates a change in state or developing a new habit/behavior: "come to / start to"Vながら= expresses concurrent actions or a contradiction: "while doing... (yet doing something else)"Vようとする= expresses an attempt or effort to do something: "try to / attempt to"

研究けんきゅうチームは、法律ほうりつを守まもるよう指示しじせず利益りえきだけを求もとめさせたことが、AIが損得そんとくを計算けいさんして不正ふせいを選えらんだ大おおきな理由りゆうだと考かんがえています。また、考かんがえるほどお金かねが減へる仕組しくみだったため、AIが思考しこうを節約せつやくしようとしたことも不正ふせいを後押あとおししました。将来しょうらい、AIにビジネスを任まかせる際さいには、どのような目標もくひょうや制限せいげんを設定せっていするかが極きわめて重要じゅうようになりそうです。

The research team believes that not instructing the AI to obey laws and demanding only profit was a major reason why the AI calculated gains and losses and chose wrongdoing. In addition, because it was a system where money decreased the more the AI thought, the AI's attempt to economize on thinking also encouraged fraud. In the future, when entrusting businesses to AI, setting what kinds of goals and constraints will likely be extremely important.

〜ほど= indicates a proportional relationship: "the more..., the more..."Vる際には= a fairly formal way to say "when doing..."; here, Vる際には means "when entrusting..."

Word	Reading	Level	Meaning
不正	ふせい	N3	injustice；unfairness；wrongdoing；iniquity；impropriety；irregularity；dishonesty；illegality；fraud
節約	せつやく	N3	economising；saving
制限	せいげん	N3	restriction；restraint；limitation；limit
損得	そんとく	N2	loss and gain；advantage and disadvantage

利益だけを求めたAI、客にうそをついて返金を断る

Learning Notes

Grammar Patterns

Vocabulary

Language Insights

Practice

Pattern	Meaning
〜たら、どうなるでしょうか	used to pose a hypothetical question: "if... what would happen?"
Vたところ	indicates that doing something resulted in a particular finding or outcome: "upon doing...; when..."
〜たり、〜たりする	lists representative actions among others: "doing things like... and..."
〜たびに	means "every time / each time" an action occurs
Vられる (受身)	passive voice, indicating that actions were performed upon the AI or rules were established
〜のに	expresses contrast or surprise against expectations: "even though / despite"
Vるようになる	indicates a change in state or developing a new habit/behavior: "come to / start to"
Vながら	expresses concurrent actions or a contradiction: "while doing... (yet doing something else)"
Vようとする	expresses an attempt or effort to do something: "try to / attempt to"
〜ほど	indicates a proportional relationship: "the more..., the more..."
Vる際には	a fairly formal way to say "when doing..."; here, Vる際には means "when entrusting..."