版權(quán)歸作者所有，任何形式轉(zhuǎn)載請聯(lián)系作者。
作者：視角雜志（來自豆瓣）
來源：https://www.douban.com/note/665754519/
在信用制普及的國家，銀行早已開始通過數(shù)據(jù)與算法評估用戶信用。在中國，社會信用體系會在2020年強制執(zhí)行，以評估13億公民的可信度。無論喜歡與否，中國的每一位公民和法人的行為都將被評級和排名。
編者按：
在互聯(lián)網(wǎng)世界，販賣用戶隱私在內(nèi)的數(shù)據(jù)生意早已不是秘密，互聯(lián)網(wǎng)由最初的匿名轉(zhuǎn)向?qū)嵜�，也�?0年代的烏托邦設(shè)想演變?yōu)閿?shù)字控制與監(jiān)視的工具。如果沒有相應(yīng)的權(quán)力制衡，個人信息的大數(shù)據(jù)極易被寡頭收割和利用。劍橋分析（Cambridge Analytica）利用Facebook用戶數(shù)據(jù)操縱2016年的美國大選，這一事件已充分展示了數(shù)字控制對現(xiàn)實世界的影響。
今天的文章將討論，數(shù)字監(jiān)控如何作用于我們的生活，我們又該如何應(yīng)對。
1.你的數(shù)字身份
根據(jù)盧西亞諾•弗洛里迪（Luciano Floridi，牛津大學(xué)信息哲學(xué)與倫理學(xué)教授、互聯(lián)網(wǎng)研究所研究主任）的說法，三個關(guān)鍵的“去中心化轉(zhuǎn)移”（de-centering shifts）改變了人類對自我的認知: 哥白尼的“太陽中心說”模型，達爾文的自然選擇理論，以及弗洛伊德關(guān)于我們的日常行為是由潛意識控制的說法。
弗洛里迪認為，現(xiàn)在已經(jīng)進入了第四個轉(zhuǎn)變，線上和線下的行為共同融合為我們的連線生活（onlife）。他斷言，社會正趨向于一個實體與虛擬混合的信息空間，我們正在獲得一種連線生活的人格，這與我們在"真實世界"中的人格并不相同。Facebook與朋友圈等社交平臺放大了這種連線生活的人格，人們在上面展示自己編輯與美化過的生活，網(wǎng)絡(luò)空間不再僅僅是一種逃離真實世界的方式。
Facebook剛剛被卷入數(shù)據(jù)泄漏的丑聞之中，后果仍然在持續(xù)發(fā)酵。來源：谷歌
在你不知情的情況下，你的信息已被詳細記錄于某個數(shù)據(jù)庫，填充為數(shù)字檔案，這份檔案可以被拿來評估你的健康程度、財務(wù)狀況或生活習(xí)慣等。甚至雇主也可能利用秘密算法監(jiān)視與評判你的行為， Intermex 公司（一家國際電匯服務(wù)公司）的一位前職員聲稱，她因為關(guān)閉了一個應(yīng)用程序而被解雇，這個應(yīng)用程序能讓該公司不斷追蹤她的位置。
信用、網(wǎng)絡(luò)、位置、購物等等數(shù)據(jù)在線上組成了我們的數(shù)字第二身份，但是這個身份組成的新世界卻完全可以毀掉你的現(xiàn)實生活。
一位女性被一家數(shù)據(jù)中間商（private data broker，負責對收集到的消費者數(shù)據(jù)進行分析與分銷）錯誤地指控為冰毒經(jīng)銷商，艱難熬過房東和銀行拒絕為她提供住房和信貸許多年，她才終于洗脫了自己的嫌疑。在信用制度已經(jīng)普及的國家，由于錯誤或數(shù)據(jù)被不公正處理，借款人一生平均可能損失數(shù)萬美元。
政府數(shù)據(jù)庫的準確度可能更為糟糕，比如在美國，“可疑活動報告”（SARs）或者不準確的逮捕記錄時有被扣在無辜者頭上， 這個問題很久以來一直困擾著公眾。 國家和市場操縱者的海量數(shù)據(jù)意味著虛構(gòu)的報告能迅速傳播開，但糾正卻需要數(shù)月或數(shù)年的法律工作和宣傳，這種缺陷根植于數(shù)據(jù)評判系統(tǒng)的設(shè)計。
缺陷之處在于信用算法被粗暴地簡化，無法考慮到復(fù)雜環(huán)境。例如“賴帳”的人可能是因為住院而錯過時間，“信用良好”的人也可能只是個吃白食的。 這就是我們所有人在數(shù)字世界里面臨的挑戰(zhàn)。如果這套控制生命的算法繼續(xù)存在，我們就需要弄清楚它如何能夠接受人類內(nèi)在的細微差別、不一致和矛盾，以及它們對現(xiàn)實生活如何反應(yīng)。
算法同時也容易變?yōu)樯罨姷母呒壒ぞ摺．攤�人偏好被用于廣告和內(nèi)容推薦時，它可以重現(xiàn)和加強我們的偏見。為了讓用戶花費更多的時間在自己的平臺上，公司會通過算法過濾出用戶想看到的信息，讓用戶處于自己的文化與價值觀的泡沫中。左翼政治與互聯(lián)網(wǎng)活動家伊萊·帕里澤（Eli Pariser）在2011年同名著作中將這種現(xiàn)象稱為過濾泡沫，現(xiàn)在已經(jīng)在迅速加深政治兩極分化。
莆田醫(yī)院分布圖。2016年魏則西事件曝光后，莆田醫(yī)院與X度的數(shù)據(jù)買賣成為眾矢之的。來源：谷歌
數(shù)字化的我們已經(jīng)被算法所包圍。我們是一個良民、一個可信之人，還是一個威脅、一個隱患，這些都由數(shù)據(jù)和算法來決定。算法成為了權(quán)力的直接掌管者，甚至能夠決定我們看見什么、思考什么。
2.政府：馴服的游戲化
對于被分類的我們來說, 還沒有有效的方式能讓算法對這種分類負責。不僅如此，當算法的決策與我們的生活互動之后，我們甚至難以想到要對算法進行問責。
美國國會于1970年通過了《公平信用報告法》(Fair Credit Reporting Act) ，以管理信貸局收集數(shù)據(jù)的做法，建立問責制、公平機制和補救機制。從《公平信用報告法》開始，美國監(jiān)管機構(gòu)常常鼓勵企業(yè)使用算法做出決策，初衷便是避免人類決策者的非理性或潛意識偏見。
但算法的設(shè)計者，使用者和調(diào)整者仍然都是人類。算法無法逃離現(xiàn)實社會的弊端，因為收集的個人和社會數(shù)據(jù)便來自這個存在歧視的社會�；跀�(shù)據(jù)與算法的決策只不過是將人的觀念轉(zhuǎn)換為了一串串代碼和參數(shù)，被轉(zhuǎn)換的也包括了現(xiàn)實世界中的各類歧視。人腦的偏見常常來源于將“因果關(guān)系”替換為簡單的相關(guān)，而基于相關(guān)性的算法只會強化相應(yīng)的偏見。
更揪心的是，商業(yè)跟蹤和政府監(jiān)控之間薄薄的界限越來越薄。諷刺網(wǎng)站洋蔥報（The Onion ）曾經(jīng)發(fā)表過一篇文章，題為《中央情報局的‘臉書’計劃大大降低了中情局的成本》�，F(xiàn)實也只是一步之遙。 斯諾登泄露的文件說明美國國家安全局會利用廣告cookies收集個人信息，黑客攻擊和數(shù)據(jù)搜集也被同時納入公司的商業(yè)計劃和國家的政治戰(zhàn)略。
世界各國政府都早已開始監(jiān)控和評級。在美國，國家安全局(NSA)并不是唯一關(guān)注國民行為的官方監(jiān)視機構(gòu)。2015年，美國運輸安全管理局提出了擴大 PreCheck （允許指定的飛行�？驮趪鴥�(nèi)旅行期間獨享快速安檢的權(quán)益）背景調(diào)查的構(gòu)想，社交媒體記錄、地理位置數(shù)據(jù)和購買記錄都包括在內(nèi)。這個想法被嚴厲抗議后擱淺了，但這并不意味著它已經(jīng)死了。中美的情況正在趨同——信用評分的擴大進入生活，即使我們對此還一無所知。
《1984》中的“老大哥在看你”早已成為經(jīng)典。來源：谷歌
中國缺乏國家信貸體系，央行擁有8億人的財務(wù)數(shù)據(jù)，但只有3.2億人有傳統(tǒng)的信用記錄 。根據(jù)中國商務(wù)部的數(shù)據(jù)，由于缺乏信貸信息，年度經(jīng)濟損失超過6000億元。這就是為什么政府堅持認為公民評分早就應(yīng)該實施，而且迫切需要解決"信任赤字"。王淑芹教授最近贏得了幫助政府開發(fā)"中國社會信用系統(tǒng)"的競標，“大多數(shù)人的行為取決于他們的思想境界，一個相信社會主義核心價值觀的人會更體面”，王教授認為——而金融體系所評估的“道德標準”以及金融數(shù)據(jù)則是一份獎勵。
想象一下，根據(jù)政府制定的規(guī)則，所有行為都將有可能被評定為正面或者負面，并在這套信用體系中提煉成一個數(shù)字。這會成為你的公民評分，告訴每個人你是否值得信賴。另外，你的評分會被公開地與所有人的排名相比，用來決定你是否有資格獲得抵押貸款或工作，你的孩子可以去哪里上學(xué)，能否拿到戶口，甚至你能否有機會約會（參見百合網(wǎng)支持芝麻信用）。
政府不再通過大棒和自上而下的恐懼維持穩(wěn)定與順從，而是試圖把馴服變得更像游戲。這是一種在部分地區(qū)探索出的社會控制方法——獎勵制度。真正的問題在于: 一個人自己的分數(shù)不僅僅取決于自己，也會受到他們網(wǎng)友言行的影響。 如果身邊有人在網(wǎng)上發(fā)布負面評論， 他們自己的評分也會被拖下水。
這就是服從的游戲化。誰會公開批評這個體系呢？ �！愕姆謹�(shù)可能會下降。令人擔憂的是，很少有人明白，不好的分數(shù)將來會傷害到他們。更令人擔憂的是，有多少人還不知道自己在被評價。
3.學(xué)術(shù)界：算法問責的嘗試
2013年紐約大學(xué)舉行的"管理算法"會議上, 一個由學(xué)者和活動家組成的社區(qū)對算法的輸出進行了批判性地分析。現(xiàn)在他們正在推動一場關(guān)于算法問責的強有力的對話, 簡稱# algacc。像2000年代的“知識無界”（A2K，由認為獲得知識應(yīng)與正義、自由和經(jīng)濟發(fā)展的基本原則聯(lián)系起來的的民間社會團體、政府和個人的松散集合）動員一樣, algacc 把焦點轉(zhuǎn)向了2010年代的一個關(guān)鍵性的社會公正問題——算法的透明。
很多商界人士更想看到這場運動早點夭折，保險公司、銀行和大型企業(yè)的發(fā)言人和說客普遍認為，關(guān)鍵算法應(yīng)該得到商業(yè)保密協(xié)議的嚴格保護，永遠不能被外人審查，更不用說批評。他們有很充足的理由——如果你知道在黑匣子內(nèi)發(fā)生了什么，系統(tǒng)可能會被操縱或被黑客攻擊。根據(jù)現(xiàn)行法律，這種知識產(chǎn)權(quán)也確實被保護得很好。
但如果人類被限制于這樣一個嚴密的評分系統(tǒng)內(nèi)，那么評分的方式必須是透明的。當一個重要的決策者決定使用一個數(shù)據(jù)庫時，Ta就應(yīng)該向被排名和評級的人們解釋數(shù)據(jù)的使用情況、分析方式，以及如何識別、糾正、質(zhì)疑可能出現(xiàn)的錯誤、偏見或違法行為。
事實上，在算法決策的每個階段，簡單的法律改革都可以為算法時代帶來基本的保護。公眾也可以參與對算法的問責和改革的推進。例如在美國，社會活動者可以與法律學(xué)者合作，通過《信息自由法》（Freedom of Information Act，頒布于1967年，是美國關(guān)于聯(lián)邦政府信息公開化的行政法規(guī)）和公平的數(shù)據(jù)實踐來揭示算法某些方面。而記者則可以與程序員和社會學(xué)家合作，不斷揭露侵犯隱私的數(shù)據(jù)收集、分析和使用的技術(shù)，并推動監(jiān)管機構(gòu)打擊那些突破底線的人。
有些算法研究人員在分析現(xiàn)有數(shù)據(jù)之外，更進了一步，與民間監(jiān)管機構(gòu)、檔案管理員、致力于開放數(shù)據(jù)的活動家和公共利益律師結(jié)為聯(lián)盟，確保用于分析、聚合、批評的原始材料能考慮到多方意見。社會學(xué)家和其他人也需要投入到這個異常重要的長期項目里，確保算法產(chǎn)生的文檔足夠公正，否則國家、銀行、保險公司和其他勢力將會制造出更多秘密檔案。
《黑客帝國3》中，作為機器世界的“殺毒者”，史密斯變異為“病毒”，并通過自我復(fù)制威脅到了機器世界的安全。這更像是現(xiàn)實世界的某種鏡面。來源：豆瓣
算法問責是一個大型的公眾項目，需要倫理學(xué)、哲學(xué)、法學(xué)、社會學(xué)、新聞?wù){(diào)查、社會活動等等不同領(lǐng)域的人來各顯神通。這是所有人都需要面對的事業(yè)，它迫在眉睫，很多致力于此的專家也在尋求更廣泛的支持。如果我們不保持警惕， “分布式信任”就會變成“網(wǎng)絡(luò)化恥辱”。生活將成為一場無休止的人氣競賽，我們都在爭奪只有極少數(shù)人才能獲得的最高評價，就像《黑鏡》里預(yù)言的那樣。
4.技術(shù)：奪回你的隱私權(quán)
我們的未來， 是否都將被貼上網(wǎng)絡(luò)和數(shù)據(jù)挖掘的烙印？也許現(xiàn)在還為時尚早，我們并不了解監(jiān)控與信息評估無處不在的文化會是怎樣。但這種趨勢正在蔓延，當這些系統(tǒng)繪制出全人類的社會、道德和金融歷史時，未來會發(fā)生什么？ 隱私和言論自由還要被損害多久？ 誰來決定這個系統(tǒng)走哪條路？ 這些問題很快便要被納入考慮。
對隱私的保護不僅使個人受益，它從根本上塑造了社會的功能。對于社會邊緣的社區(qū)和社會運動，例如爭取婚姻平等和其他曾被污名化的觀點，隱私是必要的。對個人隱私的保護使這些群體在改變現(xiàn)狀之前能夠建立網(wǎng)絡(luò)，組織和發(fā)展他們的想法與平臺。但是當人們知道他們被跟蹤和監(jiān)視時，他們就會改變他們的行為。這種令人不寒而栗的影響損害了我們的知識自由和社會進步的能力。
除非有大規(guī)模的公民為了奪回隱私權(quán)而抗議，否則我們將進入一個個人行為被他們無法控制的標準所判斷的時代， 而且這種判斷無法被消掉。后果不僅令人不安，而且是永久性的。忘記了刪除或被遺忘的權(quán)利，只剩年輕和愚蠢。
《黑鏡》第二季第一集以“微笑指數(shù)”為線索，講述了一個評估無處不在的未來。來源：豆瓣
好消息是，技術(shù)也可以有效地防止被跟蹤。廣告攔截器和其他瀏覽器的隱私工具可以減少超過一半的跟蹤，使用更復(fù)雜的工具，如 Tor 瀏覽器會更有效。換句話說，技術(shù)更嫻熟的人可以享受更好的隱私和數(shù)字自由。但這將導(dǎo)致了技術(shù)上的“軍備競賽”，這本身就令人擔憂，不過這種技能也的確與那些占據(jù)優(yōu)勢的技術(shù)黨相關(guān)。與此同時，出版商被廣告攔截器等工具誤傷，危及自由媒體。
雖然現(xiàn)在停止這個新時代可能已經(jīng)太晚了，但我們現(xiàn)在確實有選擇和權(quán)利可以利用。比如，我們需要對評級人員進行評估。凱文·凱利在他的書《不可避免》中描述了一個未來， 在那里，觀察者和被監(jiān)視者將透明地相互跟蹤。他寫道：“我們現(xiàn)在的核心選擇是，這種監(jiān)視是一種秘密的單向監(jiān)視，還是一種相互透明（同時監(jiān)視觀察者）的‘貪婪’”。
參考資料
https://aeon.co/essays/judge-jury-and-executioner-the-unaccountable-algorithm
https://aeon.co/essays/the-strange-benefits-of-living-in-a-total-surveillance-state
http://www.wired.co.uk/article/chinese-government-social-credit-score-privacy-invasion
https://www.theatlantic.com/technology/archive/2017/05/the-thinning-line-between-commercial-and-government-surveillance/524952/
編譯：子川
老掉了的朋克，開源社區(qū)推廣者
文章首圖/尾圖：Kaethe Kollwitz Edward Hopper
文章來源：wired /the atlantic/aeon
圖片來源：網(wǎng)絡(luò)
編輯：劉果 嚴妍
校對：劉果
排版：付安琪
