デジタル公共空間のためにテクノロジーの「トラスト＆セーフティ」を構築する

Image: Phunkod/Shutterstock

　カリフォルニア州パロアルトで今週（９月２９・３０日）、「トラスト＆セーフティ」の第１回年次会議が開催された。ZoomやMeta、TikTok、DoorDashのテクノロジープラットフォームの担当者が、ソーシャルメディア・プラットフォーム上の有害コンテンツを減らす方法を研究している研究者と会合した。

　テクノロジープラットフォームの有害コンテンツは、小規模なものから始まった。今やインターネットは、過激派から一般人まで幅広いユーザーによる、虐待や搾取、暴力的なコンテンツや憎悪に満ちたコメントがあふれるスーパーハイウェイと化している。政治家がプロパガンダを拡散するためにプラットフォームを利用し始めている一方、スリランカやミャンマーの政府はFacebookを利用してディスインフォメーション（意図的な虚偽の情報）やヘイトスピーチを拡散し、ムスリムに対する大衆暴力を誘導したとの報告も上がってきている。

　２０２０年までに、オックスフォード大学の民主主義とテクノロジーに関するプログラム（University of Oxford Programme on Democracy and Technology）は、８０を超える国々のサイバー部隊がコンピュータを使ったプロパガンダの拡散を行う、「ディスインフォメーションの産業化（industrialized disinformation）」を警告していた。世界のあらゆる地域の研究者は、ソーシャルメディアはすでに分裂した社会をさらに分断し、民主主義制度に対する人々の信頼を低下させ、独裁者への支持を高めるうえで重要な役割を演じていると報告している。

　人々がソーシャルメディアの武器化に言及したり、プラットフォームを大量攪乱・大量破壊の兵器と呼んだりするのを耳にするのは珍しいことではない。だが同時に、テック企業によるコンテンツ・モデレーション（投稿監視）に対する人々の怒りも高まりつつあり、特に、検閲に不満を述べる保守層の間で著しい。

テック・トラスト＆セーフティの夜明け

　長年にわたり、テック企業は彼らが「トラスト＆セーフティ」と呼ぶ基本構造に対して新しい階層を加えることで、有害コンテンツに対処しようとしてきた。テック企業は、コンテンツに関するコミュニティ・ガイドラインを策定し、専任のコンテンツモデレーターを雇い、有害コンテンツを検知する新しいAIを創り出した。また、新機能によって生じる可能性がある危害について検討、予測を行うため、新たにトラスト＆セーフティ・チームを雇用した。さらに、コンテンツモデレーションを向上させるため、政府、国連、市民社会グループとの間でパートナーシップを結んだ。

　しかし、有害コンテンツの問題の規模は、テックラッシュ（大手テック企業に対する反発）を助長した。テック企業の従業員たちは、害をもたらすと考えられるポリシーやアルゴリズム、製品に対して、内部から 抗議の声を上げた。抗議のために辞職する者や、Center for Humane Technology、Integrity Institute、Zebras Unite、All Tech is Humanといった新しい取り組み、またその他、テクノロジーの安全向上をテーマとする団体を立ち上げる者もいた

　数々の大学で、テクノロジー、二極化、民主主義の危機に対処する新しい取り組みが生まれた。スタンフォード大学インターネット観測所やトロント大学市民ラボ、ハーバード大学バークマン・クライン・インターネット・社会センターなど、他にも多くの取り組みがある。

　こうした関心の連鎖から、Trust and Safety Professional Association (TSPA)およびTrust and Safety Foundationが設立された。TSPAは、オンラインで許容される言動およびコンテンツを定義する原則やポリシーを策定・施行するテック企業の従業員からなる専門家の団体である。Trust and Safety Foundationはトラスト＆セーフティに関する諸問題および、言論の自由と有害コンテンツとの間に内在する両立しえない関係性について、社会の理解を深めるという、より広範なミッションを有している。

　２０２２年９月、“TrustCon”に続いて、スタンフォード大学のインターネット観測所で開催されたトラスト＆セーフティ研究会議は、テクノロジープラットフォーム上で有害コンテンツが急速に悪化している状況の中、前進の兆しとなった。

テクノロジープラットフォームが公共空間をソーシャルエンジニアリングする

　テック企業のスタッフは、人類史上最悪の悪魔と毎日格闘するという無理難題に直面している。この作業はトラウマになってしまう。 コンテンツモデレーターたちは、毎日数千件の虐待、拷問、自殺といったコンテンツをふるいにかけているのだ。

　コンテンツモデレーションに従事する多くのスタッフとの会話やインタビューで、筆者は主に二つのメタファー（比喩）を耳にする。一つは、彼らはしばしば自分たちのプラットフォームが社会の「鏡」だといって嘆く。プラットフォーム自体が有害なコンテンツを作り出しているのではなく、ユーザーが作り出しているのだと。もう一つは、トラスト＆セーフティに従事するスタッフは、有害コンテンツを減らす自分たちの努力を、終わらない「モグラたたき」ゲームに例える。

　これらのメタファーは、人類最良の天使の部分と最悪の悪魔の部分を増幅させているテクノロジープラットフォーム自体の役割を曖昧にしているように思われる。テクノロジープラットフォームは中立的な鏡ではない。プラットフォーム自体が、そのアフォーダンスを通じて、人類最良の部分や最悪の部分が増幅する機会を作り出しているのだ。

「信頼」の課題

　スタンフォード大学ロースクール教授のエヴェリン・デュークは、大半の議論がプラットフォームをユーザーにとってより安全にするためのものである一方、企業は、有害コンテンツが社会に与える影響を懸念しているユーザー、ジャーナリスト、学者、および政府の規制当局者との間で信頼関係を築く必要があると主張する。

　信頼向上を求める最も大きな声の一部は、テック企業の元内部関係者から上げられている。Facebookのセキュリティ責任者であったアレックス・ステイモスは、現在、スタンフォード・インターネット観測所（SIO）を運営している。ステイモスは、コンピュータサイエンスを専攻する学生らにトラスト＆セーフティに関する課程を教えている。その内容には、Facebookのようなプラットフォームが意図せず引き起こす多くの害に関する興味深い紹介が含まれている。大半のテクノロジープラットフォームを作ったのは、 コンピュータ・エンジニアであって、社会学者や政治学者、心理学者、倫理学者ではない。コンピュータサイエンスを教える大学は、テック倫理およびトラスト＆セーフティの課程を必須とする必要がある。ステイモスは、自身が対処した事案で、自殺で亡くなったユーザー、児童に対する性的虐待の被害に遭ったユーザー、オンライン自殺がかかわるものについて教えている。

　Twitter社の前トラスト＆セーフティ担当バイスプレジデントのデル・ハーヴェイは、しばしばシリコンバレーの衛生チーフ・オフィサー（chief sanitation officer）と称される。デル・ハーヴェイは、今週開催された会議で、より大きなビジョンを提示した。「トラスト＆セーフティの目標は、健康のために働くことであるべきだ」。公衆衛生の教訓を引き合いにして、ハーヴェイは、有害コンテンツという病気を治療するだけでは十分ではなく、テック企業は健康的な会話を促進する責任を負っている、と述べた。人々は、有害コンテンツではなく、ポジティブで健全な会話に出会えるプラットフォームにいたいのだ、と。

　嫌われているポップアップ広告を発明した張本人であり、デジタルコミュニティの未来についての代表的な思索家であるイーサン・ザッカーマンは、トラスト＆セーフティ研究会議のクロージングセッションを担当した。ザッカーマンは、「民主主義は健全な公共空間なくして存在しえない」と正しく主張した。シリコンバレーから台頭したビッグ・テック企業は、広告ベースの収益モデルの上に成り立っている。ザッカーマンは、われわれは、これらのソーシャルメディアや検索エンジンに支払った相応の見返りを得ていると言う。もし我々が健全な公共空間を欲するなら、新たな公共デジタル空間のガバナンスに注力する必要がある。コンテンツモデレーションに注力しても、民主主義が排水溝を流れていく嫌な音から逃げることはできない。

コンテンツモデレーションではなく、ガバナンスを

　デューク、ステイモス、ハーヴェイおよびザッカーマンは、それぞれ、有害コンテンツをどう取り除くかという現在の焦点を脱却するための新たな方向性を示すコンパスを提供してくれた。コンテンツモデレーションへの注力は、システムではなく症状を見ているようなものだ。民主主義と世界の安全保障の未来が危機に瀕している。

　テック企業は、新たな公共空間を作ろうとしている。それは人々が互いに対話するために向かう場所だ。ソーシャルメディア・プラットフォームが提供する新しい公共空間において、人々が何を言ってよいかを決めるにあたり、テック企業は政府や裁判所よりも大きな力を持っている。

　テクノロジーのトラスト＆セーフティに関する初めての会議の会場を満たしたのは、世界の安全保障の専門家、あるいはサイバーセキュリティの専門家でさえない。この大量破壊兵器の担当者は、テック企業のスタッフたちである。彼らに交じって、筆者は国連職員の女性１名、ニュージーランドとイギリスの政府代表者数名に会った。

　トラスト＆セーフティの対話は、もっと幅広く、深く、広範囲なものとなるべきだ。より多くの人々が関心を払わなければならない。テック企業に怒りを押し付けるだけでは公正とは言えない。テック企業は、目の前にある害の大きさに怯んでいる。有害コンテンツをどのように減らすのかについて、簡単な答えはないのだから。