2015年5月到12月間，我參加了哥倫比亞大學新聞學院下設的Lede項目,。這是一個專門培訓數(shù)據(jù)記者的項目,，課程涵蓋了統(tǒng)計、高等數(shù)學,、計算機算法,、數(shù)據(jù)庫應用以及可視化制作等方面的內(nèi)容,。在這半年多的時間里,，我接觸到超過20種軟件及編程語言（見下圖），以供處理不同類型的數(shù)據(jù),。

一,、背景環(huán)境及課程開設初衷

作為美國歷史最悠久的新聞學院之一，哥倫比亞大學始終走在新聞教育的前沿,，不僅為全球新聞行業(yè)培養(yǎng)了諸多優(yōu)秀的記者和編輯,，同時也在不斷探索媒體行業(yè)的走向和發(fā)展。數(shù)據(jù)新聞起源于上世紀六十年代末,，一個叫菲利普·梅耶（Philip Meyer）的記者他所供職的《底特律自由報》使用當時的大型計算機（mainframecomputer）整理和收集政府的公開數(shù)據(jù)，并嘗試在報道中加入數(shù)據(jù)調(diào)查結果,。后來,，做了教授的梅耶寫了本叫《精準新聞》（Precision Journalism）的書,，詳細記述了自己對數(shù)據(jù)的理解和經(jīng)驗,，這本書已成為數(shù)據(jù)與調(diào)查新聞領域的經(jīng)典著作,。到了八十年代末,，隨著辦公電腦的普及,，數(shù)據(jù)新聞扮演的角色也越來越重要,，而通過電腦協(xié)助完成的報道也開始斬獲像普利策這樣重量級的獎項。越來越多的從業(yè)者開始意識到數(shù)據(jù)新聞的價值,，而全國計算機輔助報道協(xié)會（NICAR）也于1994年在密蘇里新聞學院正式建立，給業(yè)內(nèi)人士和新聞學院學生提供了更多交流和學習的機會,。到了本世紀初,，隨著社交媒體和手機應用的迅速發(fā)展,，傳統(tǒng)新聞行業(yè)受到嚴重打擊,。老牌紙媒虧損停刊的不在少數(shù),，一大批記者不得不離開紙媒,，去互聯(lián)網(wǎng)公司尋找機會，網(wǎng)絡媒體的地位不斷得到提升,。這些公司依賴于網(wǎng)站訂閱和社交網(wǎng)絡的傳播,，大量的讀者是手機與平板用戶,。此外,，它們的另一特點是對于數(shù)據(jù)與交互可視化的重視,。

正是在這樣的大環(huán)境下,，哥倫比亞大學新聞學院的兩位教授艾米麗·貝爾(Emily Bell)和馬克·漢森（MarkHansen） 在聊到目前數(shù)據(jù)新聞的發(fā)展和數(shù)據(jù)記者的短缺時,，不謀而合地提出開設數(shù)據(jù)培訓課程的想法，于是便有了Lede項目,。

二,、緊貼行業(yè)發(fā)展的課程設置

1. 交互可視化

雖然學習的內(nèi)容大多與計算機和編程相關,，但Lede的宗旨并不是培養(yǎng)程序員,，而是希望學員能夠更加準確地分析和運用數(shù)據(jù),。它的課程分為四個方向：統(tǒng)計學,，交互可視化,，數(shù)據(jù)分析和計算機語言。Python,，SQL, D3.JS,，這些目前在數(shù)據(jù)新聞界最流行的幾種工具對于文科出身的記者來說,，可能十分陌生,。但實際上,，只要掌握一些基本數(shù)據(jù)結構和編程語法,，就可以開始編寫簡單的程序去整理和分析數(shù)據(jù),，接下來便是抓取網(wǎng)頁信息和制作可視化新聞,。

Lede課程總長度為兩學期,。第一個學期從5月到8月，學習使用編程語言Python進行處理數(shù)據(jù),，抓取網(wǎng)頁,，建立模型， 以及簡單的機器學習,。第二個學期從9月到12月,，有了一定編程基礎的學員可以根據(jù)自己的興趣在高等數(shù)學、數(shù)據(jù)結構,、統(tǒng)計分析,、交互可視化制作、大數(shù)據(jù)挖掘等不同領域選擇進修方向,。

進修之前,，我有一年的數(shù)據(jù)處理和可視化制作經(jīng)驗，卻從未涉及過電腦編程,。我大部分情況下都是使用軟件,，比如Excel和Access,，以及可視化工具Tableau,，還有各種制作時間軸（Timeline）或是信息圖（Infographic）的網(wǎng)站。使用這些資源的好處是上手容易,，完成的快。但缺陷是形式比較單一,，缺少個性化,。上課期間， JavaScript 的一個函式庫D3建立動態(tài)數(shù)據(jù)圖,，令我眼界大開：它設計出的圖像簡潔,、美觀,，功能豐富,，交互性強，很符合媒體的需求,。

隨著線上讀者的不斷增加,，新聞網(wǎng)站越來越重視在新聞中加入交互與可視化元素,。目前被媒體網(wǎng)站廣泛使用的開源語言D3.js的開發(fā)者Mike Bostock曾是紐約時報的一名圖片編輯，他開發(fā)的這款工具大大提高了數(shù)據(jù)圖的專業(yè)度和靈活性，并且兼容手機瀏覽器：

以下是幾個D3動態(tài)圖案例：

《紐約時報》——通往白宮的512條路

《紐約客》——美國高?；@球隊的預算之爭

《那些孤單的人們》—— Lede項目往屆學員作品

更多Lede項目學生作品可訪問這里：http:///student-work/

更多D3的案例可訪問這里：https://github.com/mbostock/d3/wiki/Gallery

2．數(shù)據(jù)分析能力

去年獲得普利策調(diào)查新聞獎的作品《揭秘聯(lián)邦醫(yī)療保險：數(shù)字背后的故事》（Medicare Unmasked: Behind the Numbers）（《華爾街日報》）通過分析超過一百萬份醫(yī)療賬單,，公開了聯(lián)邦醫(yī)療保險系統(tǒng)中6000億美元的走向， 以及這個保險給醫(yī)院和醫(yī)生帶來的收入變化情況。 （作品地址：http://graphics./medicare-billing/）

專門報道體育和政治新聞的網(wǎng)站538（FiveThirtyEight）以預測比賽和大選結果見長,。主編Nate Silver在12年大選期間,，利用數(shù)據(jù)模型近乎完美地預測每一輪的投票結果，并寫成文字報道,，廣受業(yè)界好評,。自由撰稿人，博客網(wǎng)站“I Quant NYC”的作者Ben Wellington 通過分析紐約市交警一年的罰單記錄,，發(fā)現(xiàn)了紐約最“掙錢”的消防栓一年的“收入”竟多達55000美元,，合計33萬元人民幣,。

這些獨家新聞的背后,，是深度的數(shù)據(jù)分析和統(tǒng)計知識?，F(xiàn)在無論是政府還是企業(yè)，數(shù)據(jù)越來越多地被當做資源利用,。作為記者，能夠拿到獨家數(shù)據(jù)無疑是如獲至寶,。但能否用好這些寶貝，還要看記者本身的分析能力,。 Excel是一個簡單又好用的軟件,，可以錄入數(shù)據(jù),，整理歸類,，進行計算（總和,、平均數(shù),、方差等等）,，還可以制作簡單的數(shù)據(jù)圖表。

但當數(shù)據(jù)量達到上十萬或者百萬時,，Excel就會開始顯得有些力不從心，有時光是打開表格就要處理很久,。這樣一組結構整齊,，數(shù)量龐大的數(shù)據(jù)稱為數(shù)據(jù)庫,。同屬于微軟辦公軟件的Access是一款容易上手的數(shù)據(jù)庫軟件,， 如果每個Excel 表格是一個子文件,，那么 Access就是存儲和調(diào)用這些表格的工具。使用數(shù)據(jù)庫軟件可以方便管理,、查詢,、訪問,、調(diào)取庫中的具體信息,。沒有經(jīng)過處理的數(shù)據(jù)被記者當作一手資料使用,，找到這樣的數(shù)據(jù)令記者興奮不已，因為那里可能就有下一條獨家新聞,。但處理原始數(shù)據(jù)往往是最消耗時間的,，對記者的數(shù)據(jù)能力也是一個很大的考驗,。錯誤的拼寫，不連貫的格式,，以及中間缺失的信息,，這些都是最常見的數(shù)據(jù)問題。而若想從政府部門獲取更加準確和完整的數(shù)據(jù),，得到的答復往往是滯后的,。為了滿足新聞的時效性，記者需要學會一些處理“骯臟”數(shù)據(jù)的技巧：比如在數(shù)據(jù)庫中建立一個“錯字表”,，將錯誤的拼寫和正確的拼寫分別錄入兩列中,，然后通過對比“錯字表”和原始數(shù)據(jù)，找出數(shù)據(jù)庫中所有出現(xiàn)錯誤的地方,，再將它們統(tǒng)一替換為正確的拼寫,。整個過程一分鐘都不需要。而且也便于日后追蹤和更新記錄,。

對于熟悉編程的記者來說,，還可以使用數(shù)據(jù)庫語言SQL直接對數(shù)據(jù)下達各種指令，至于電腦如何實現(xiàn)這個指令,，則是不需要用戶去考慮的,。此外，在處理數(shù)據(jù)方面,，Python和R被數(shù)據(jù)記者廣泛使用,。Python是一款多功能的計算機語言，由于其功能全面,，語法簡單,，成為不少編程入門者的首選。不同于軟件,，編程語言允許用戶在高層數(shù)據(jù)結構上工作,，功能也更加強大。比如Python中一款熱門的繪圖插件Matplotlib,，讓用戶可以直觀地看到數(shù)據(jù)的走勢發(fā)展或是同類對比,，這些通常是記者最感興趣的地方。

下圖為巴西的收入不均等與全球其他主要國家的對比（來源：538 ）

三,、數(shù)據(jù)分析在實際工作中的運用

在課程設計上,，美國的新聞學院整體走實用路線，lede項目也不例外,。個人作業(yè)和小組項目貫穿整個課程,。這樣的安排不僅讓學員有更多機會練手，豐富個人作品集，為畢業(yè)后找工作鋪路,。此外,，對于編程新手來說，一個主要障礙是自己寫的程序經(jīng)常出現(xiàn)“bug”,，而又不知道問題出在哪兒,。 幸運的是網(wǎng)絡上關于編程的資源很多,，大部分問題在谷歌,、百度上搜一下就能找到答案。 對于應用為主的數(shù)據(jù)記者而言,，能夠找到解決代碼問題的方法,，甚至比學習編程本身更有意義，而課堂練習的目的也正在于此,。

每學期末,，學員都要完成一篇獨立的數(shù)據(jù)新聞報道，題材不限,。我的選題是利用自然語言處理,，分析微博網(wǎng)友對去年五一期間“成都女司機變道被打”這個熱點議題的態(tài)度和立場。通過對7000多條微博的分析,，我發(fā)現(xiàn)在女司機劣跡斑斑的駕駛記錄被公開之前,， 97%的網(wǎng)友表示了對她的同情和支持，而這一比例在她劣跡斑斑的駕駛記錄被曝光后,，迅速跌至38.4%,。這個語義分析用到了機器學習中兩個使用廣泛的模型：決策樹和樸素貝葉斯。我將自己人工分析的大約1000條微博錄入到模型中,，而它通過一系列復雜的運算,，建立起一個分類器，將剩下的6000條微博按照語義進行分類,。概括來說,，就是將數(shù)據(jù)按比例分成培訓用和測試用兩部分，先人工處理培訓用的數(shù)據(jù),，然后將它們“喂給”你所選擇的統(tǒng)計模型,，讓電腦“學習”你的處理結果，再將測試用的數(shù)據(jù)盡可能地按照你的邏輯思維去分類,。

近年來,，科學家不斷地在機器學習（machinelearning）方面有所突破，人工智能離我們的生活越來越近,，而自然語言處理一直是機器學習的一個重要領域,。《紐約時報》和英國廣播公司（BBC）率先在公司內(nèi)部建立起新聞實驗室，讓電腦學習語法結構,，自動生成新聞稿件,。去年《紐約時報》制作了一個名為“Blossom”的機器人，可以預測新聞在社交媒體上的點擊率,，從而幫助編輯選擇應該發(fā)布的內(nèi)容,。截止目前，有不少媒體都開始嘗試更加復雜的數(shù)據(jù)分析和處理,?！哆_拉斯早報》在一篇調(diào)查德州學生作弊的新聞中使用統(tǒng)計學中的回歸模型分析學生的成績分布；《洛杉磯時報》利用聚類分析法,，計算出每個社區(qū)的犯罪情況,，并對犯罪率有可能上升的地區(qū)做出預報；路透社去年通過一系列復雜的模型分析,，調(diào)查出美國最高法院的判決結果是由一小群精英律師主導著,，這則報道后來被普利策獎提名。（作品地址：http://www./investigates/special-report/scotus/）

四,、技能固然重要,，但內(nèi)容才是新聞的靈魂

Lede課程已經(jīng)舉辦了兩屆，學員來自不同國家,，背景多種多樣,。在我的這些同學中，既有編輯室的主編,，也有剛畢業(yè)的大學生,，既有學新聞出身的，也有學社會學和其他人文學科的,。大家參加這個項目的目的各有不同,，有些人想集中學習一下數(shù)據(jù)技巧，然后返回編輯室繼續(xù)工作,；有些人希望通過這個項目申請計算機或是數(shù)據(jù)科學的研究生,。在與同學的交流中，我開始了解數(shù)據(jù)新聞在其他國家的發(fā)展,，以及不同國家的記者最關注的話題,，這個項目也讓我認識了不少同行。

離開學?；氐骄庉嬍?，我更加意識到，數(shù)據(jù)技能固然重要,，但并非數(shù)據(jù)新聞的全部,。想要做出好故事,，依舊不能忽略傳統(tǒng)新聞中采訪和寫作的重要性。數(shù)據(jù)可以幫助我們找到突破口,，可視化可以幫助我們豐富畫面,，但內(nèi)容才是新聞的靈魂。因此,，在談論數(shù)據(jù)新聞時,，我們不能只依賴電腦和網(wǎng)絡上的信息，而是要繼續(xù)親自走訪現(xiàn)場,，采訪專家和線人,，調(diào)查取證，一遍遍修改稿件,，核實內(nèi)容的準確性,，這樣才能讓報道更加準確、深入,、全面，具有影響力,。

作者：美國丹佛電視臺（KUSA）新聞調(diào)查部數(shù)據(jù)記者,，波士頓大學商業(yè)與經(jīng)濟新聞碩士王小丹