Big Data, Bigger Data. . . Troppo grande

Mentre la maggior parte di noi era impegnata a scartare i regali a Natale, il Wall Street Journal ha pubblicato un articolo sulla raccolta dati della NSA. Il punto non era che violava la privacy – il che è vero – ma che stavano raccogliendo molto più di quanto avrebbero potuto usare. In breve, è stato anche stupido.

Il Journal ha citato William Binney, un ex dipendente della NSA in pensione, di alto rango e di lunga data che ha lavorato al suo codice informatico, intervenendo a una conferenza sulla privacy in Svizzera: "Quello che stanno facendo è rendersi disfunzionali prendendo tutti questi dati".

L'articolo ha proseguito commentando: "L'agenzia sta annegando in dati inutili, il che nuoce alla sua capacità di condurre una sorveglianza legittima. . . Gli analisti sono sommersi di così tante informazioni da non riuscire a svolgere il proprio lavoro in modo efficace e l'enorme riserva è una tentazione irresistibile di abuso. "

L'articolo descriveva gli sforzi di Binney, Ed Loomis, capo di un centro di ricerca per monitorare i dati, e altri, per vagliare i vasti messaggi dei messaggi per trovare informazioni importanti e utili. Hanno "costruito un sistema per raschiare dati da Internet, buttare via il contenuto dei cittadini statunitensi e ingrandire i metadati avanzati – o le informazioni" a "e" da "nel traffico Internet. L'hanno chiamato ThinThread. "

L'agenzia ha infranto quel piano e ne ha preso uno chiamato "Trailblazer". Ma il Journal ha osservato, "Il sistema di filtraggio dei dati di Trailblazer non è mai stato costruito. Invece, i funzionari della NSA cercarono segretamente e ottennero il sostegno per una serie di programmi per effettuare intercettazioni telefoniche e contenuti Internet senza mandato. Hanno ottenuto un'approvazione analoga per raccogliere e analizzare i metadati da quasi tutte le telefonate degli Stati Uniti e vaste aree del traffico Internet. "(Vedi" Lotta della NSA per dare un senso all'alluvione dei dati di sorveglianza ").

Il risultato netto è il sistema gonfio e inefficiente che ora abbiamo, che riesce a compromettere le tutele costituzionali contro l'invasione della privacy senza riuscire a trovare le informazioni di cui abbiamo bisogno per essere al sicuro. Come spiegare questi errori?

A livello individuale, è un prodotto dell'ossessione, un'attenzione maggiore su una cosa che conduce a una sorta di visione a tunnel, ignorando contesto e significato. In breve, se il tuo compito è quello di raccogliere dati segreti, non puoi sapere quando è abbastanza o quando fermarti, perché il tuo compito è ottenere quanti più dati possibili, non pensare a cosa fare o perché bisogno di essa. E se hai dei veri nemici, diventa facilmente un'ossessione paranoica. Allora non puoi davvero fermarti, perché finisci troppo facilmente per illuderti che un'altra informazione ti renderà al sicuro.

    A livello di gruppo o organizzativo, significa mancanza di leadership o supervisione. Le funzioni tecniche e la tecnologia necessarie per avere successo esistono in un silo o in un vuoto. È simile a quello che è successo alle banche durante la crisi del credito quando gli ambiziosi commercianti canaglia stavano generando enormi profitti manipolando algoritmi che i loro manager non capivano. Il loro compito era solo quello di guadagnare denaro, quanti più soldi possibile, mentre i manager, ipnotizzati dai profitti e timorosi di mostrare la loro ignoranza, si fermavano e lasciavano che succedesse – finché il sistema non esplose.

    Quanto sei intelligente per non essere troppo intelligente?