1.1 Story time

몇 가지 짧은 이야기로 시작하겠습니다. 각 이야기는 해석 가능한 기계 학습에 대한 지나친 요구이며, 시간이 없는 경우에는 이 이야기를 넘기시면 됩니다. 하지만 재미와 동기를 얻고 싶다면 계속 읽어주세요!

이 형식은 Jack Clark의 Tech Tales에 있는 Import AI Newsletter에서 영감을 얻었습니다. 이런 종류의 이야기를 좋아하거나 AI에 관심이 있다면 가입하는 것이 좋습니다.

1. Lightning Never Strikes Twice

2030년 : 스위스의 어느 의료실(2030: A medical lab in Switzerland)

“그는 죽었으면 안됐어요!” 톰은 이 상황에서 긍정적인 것을 찾으려고 노력하면서 요약했다. 톰은 정맥에서 펌프를 제거했다. 레나가 말했다. “그는 방금 잘못된 이유로 죽었어요. “그리고 확실히 모르핀 펌프를 잘못 사용했어요! 이 상황은 우리를 위해 더 많은 일을 만들어 줄뿐이에요!” 톰은 펌프의 후면 판을 풀면서 불평했다. 모든 나사를 제거한 후, 그는 판을 들어서 옆에 두고 케이블을 진단 포트에 꽂았다. “레나는 이 일을 하는 것에 대해 불평이 있지 않아요?” 레나는 비꼬는 듯한 말투로 말했다. “당연히 아니죠. 절대로!”

톰은 펌프의 컴퓨터를 부팅했고 레나는 케이블의 다른 쪽 끝을 태블릿에 꽂았다. “알았어요, 진단이 진행 되고 있어요.” 레나가 말했다. “나는 무엇이 잘못되었는지 궁금해.”, “열반(Nirvan)에서 John Doe를 주사했어. 모르핀의 농도가 매우 높은데… 내 말은 … 이게 첫 번째 주사에요? 일반적으로 펌프가 고장 나면 농도가 너무 적거나 전혀 없어야 되는데. 하지만 이건 지나친 주사야” 라고 Tom은 설명했다.

“알고 있어요. 날 설득할 필요는 없어요… Tom, 저것 좀 봐요.” 레나는 태블릿을 들었다. “여기 이 봉우리 보여요? 이것이 진통제 혼합의 효력이에요. 보세요! 이 선은 기준 수준을 보여주고 있어요. 그 불쌍한 남자는 그의 혈액 시스템에 17번 이상 죽을 수 있는 진통제가 혼합되어 있었어요. 그리고 여기 펌프에 주입됐어요. 여기서 당신은 환자의 사망 순간을 볼 수 있어요.” 라고 레나는 말했다. “그럼, 무슨 일이 있었는지 짐작 가는 게 있어요, 톰?” 톰은 레나에게 물었다. “흠… 센서는 괜찮은 것 같아요. 심장 박동수, 산소 농도, 포도당… 예상대로 데이터가 수집되고 있었어요. 혈액 산소 데이터에서 일부 누락된 값이지만, 이는 드문 일이 아니에요. 여기 좀 봐요. 이 센서들은 또한 환자의 심장 박동수와 모르핀이 탈진하는 것과 다른 통증 차단제로 인한 극도로 낮은 코르티솔(부신피질에서 생성되는 스테로이드 호르몬의 일종으로, 외부의 스트레스와 같은 자극에 맞서 분비되는 물질) 수치를 감지했어요.” 레나는 계속해서 진단 보고서를 훑어보았다. 톰은 화면을 응시했다. 이것은 실제 장치 고장에 대한 그들의 첫 조사였다.

“좋았어, 여기서 우리의 첫 퍼즐 조각를 찾을수 있어요. 시스템이 병원의 통신 채널에 경고를 보내지 못했고, 경고가 보내졌지만 프로토콜 수준에서 거부되었어요. 우리의 잘못일 수도 있지만, 병원의 잘못일 수도 있어요. IT 팀으로 로그를 보내 주세요.”라고 레나는 톰에게 말했다. 톰은 여전히 화면에 시선을 고정시킨 채 고개를 끄덕 였다. 레나는 말을 계속했다. “이상해요. 이 경고로 인해 펌프가 정지되었을 수도 있었는데 분명히 그렇게 하지 못했어요. 이건 버그가 틀림없어요. 품질팀에서 뭔가 놓친 거에요. 정말 안 좋은 일이에요. 이건 프로토콜 문제와 관련이 있을 수 있어요.” “그럼, 펌프의 비상시스템은 고장났는데, 왜 펌프가 bananas를 가득 채우고 John doe에게 그렇게 많은 진통제를 주입했을까요?” 톰은 궁금했다.

“좋은 질문이에요. 맞아요. 프로토콜 비상시스템 실패는 제쳐두고, 펌프가 그 정도의 약을 투여하지 말았어야 했는데, 낮은 수준의 코르티솔과 다른 경고 신호를 고려할 때 알고리즘은 훨씬 더 일찍 멈췄어야 했어요.” 라고 레나는 설명했습니다. “혹시 어떤 불운, 이를테면 벼락맞기 같은 거요?” 톰이 레나에게 물었습니다. “아니에요, 톰. 내가 보내드린 설명서를 읽어보면, 처음에는 동물실험에, 나중에는 인간에게, 나중에는 센서 입력(sensor input)을 바탕으로 한 완벽한 양의 진통제를 주입하는 법을 배우도록 펌프는 훈련되었다는 것을 알수 있을 거에요. 펌프의 알고리즘은 복잡할 수 있지만 랜덤하지는 않아요. 즉, 동일한 상황에서 펌프가 다시 정확히 같은 방식으로 작동한다는 뜻이고, 우리는 환자를 또 죽게 할거에요. 센서 입력의 조합 또는 원치 않는 상호작용이 펌프의 잘못된 동작을 유발한 것이 틀림없어요. 따라서 이것이 우리가 더 깊이 파고들어 여기서 무슨 일이 일어났는지 알아내야 하는 이유에요.”라고 레나는 설명했다.

“그렇군요…” 톰은 생각에 잠기며 대답했다. “어쨌든 환자는 곧 죽지 않았나요? 암 같은 것 때문에요?” 레나는 분석 보고서를 읽는 동안 고개를 끄덕였다. 톰은 일어나서 창가로 갔다. 톰은 먼 곳의 한 점에 시선을 고정시킨 채 밖을 내다보았다. “아마 그 기계는 그에게 호의를 베풀었을 거예요, 아시다시피, 그 고통에서 해방시켜 준 거죠. 더 이상의 고통은 없었어요. 어쩌면 그게 옳은 일을 했을지도 몰라요. 번개… 좋은 번개, 복권처럼, 하지만 무작위적이진 않아요 이유가 있었을거에요. 제가 펌프였다면 똑같이 했을 거에요.”

2. Trust Fall

2050년 : 싱가포르 어느 지하철역에서(2050: A subway station in Singapore)

그녀는 비샨 지하철역으로 급히 갔다. 여러 생각들과 함께 그녀는 이미 일을 시작했다. 새로운 신경 구조에 대한 테스트는 지금쯤 완료돼야한다. 그녀는 한 사람이 세무서를 피해 돈을 숨길지 여부를 예측하는 정부의 “개별 기업에 대한 조세 선호도 예측 시스템”의 재설계를 주도했습니다. 그녀의 팀은 완벽한 기술를 생각해냈다. 만약 성공한다면, 이 시스템은 세무서에 사용할 뿐만 아니라 대테러 경보 시스템과 상업 등록부 같은 다른 시스템에도 공급될 것이다. 언젠가 정부는 이 예측들을 시민 신뢰 점수(Civic Trust Score)에 통합시킬 수 있을 것이다. 시민 신뢰 점수는 한 사람이 얼마나 신뢰할 수 있는지를 추정한다. 이 점수는 대출을 받거나 새 여권을 발급받으려면 얼마나 기다려야 하는지 등 일상생활의 모든 부분에 영향을 미친다. 에스컬레이터를 타고 내려오면서, 그녀는 자신의 팀 시스템을 시민 신뢰 점수 시스템으로 통합하는 것이 어떤 모습일지 상상했다.

그녀는 일상적으로 걸음 속도를 줄이지 않고 RFID 판독기 위에 그녀의 손을 찍었다. 그녀의 마음은 정신이 없었지만, 감각적인 기대와 현실의 불협화음이 그녀의 머릿 속에 경종을 울렸다.

너무 늦었다.

그녀의 코는 지하철 출입문에 뛰어들면서 찧었다. 문이 열리기로 되어 있었지만 열리지 않았다. 얼떨결에 그녀는 일어서서 문 옆에 있는 화면을 보았다. “다음 열차를 이용해 주세요.” 화면에서 다정해 보이는 미소를 띄웠다. 한 사람이 지나가다가 그녀를 무시한 채 바코드에 손을 찍었다. 문이 열리자 그는 안으로 들어갔다. 문이 다시 닫히면서 그녀는 코를 찧었다. 아팠지만 적어도 피가 나지는 않았다. 그녀는 문을 열려고 했지만 다시 거절당했다. 정말 이상했다. 아마도 그녀의 대중교통 계정이 충분한 금액을 가지고 있지 않았을지도 모른다. 그녀는 계좌 잔고를 확인하기 위해 스마트워치를 보았습니다.

“로그인은 거부됐습니다. 시민 상담소(Citizens Advice Bureau)에 연락하세요!” 그녀의 시계가 그녀에게 알려 주었다.

메스꺼움이 그녀의 배를 주먹으로 때리는 듯한 느낌이 들었다. 그녀는 무슨 일이 일어났는지 의심했다. 그녀가 생각하고 있는게 맞는지 확인하기위해 1인칭 슈팅 모바일 게임 “스나이퍼 길드(Sniper Guild)”를 시작했다. 이 앱은 자동으로 다시 닫혔고 확신했다. 그녀는 현기증이 나서 다시 바닥에 주저 앉았다.

가능한 설명은 단 한 가지였다. 그녀는 시민 신뢰 점수가 떨어졌다. 이 작은 떨어짐은 일등석을 타지 못하거나 공문서를 위해 조금 더 기다려야 하는 등 사소한 불편함을 의미했다. 낮은 신뢰 점수는 드물었고 그녀가 사회에 대한 위협으로 분류되었다는 것을 의미했다. 이 사람들을 다루는 한 가지 방법은 지하철과 같은 공공 장소에서 그들을 멀리하는 것이다. 정부는 시민 신뢰 점수가 낮은 사람들의 금융 거래를 제한했다. 그들은 또한 소셜 미디어에서 이러한 사람들의 행동을 적극적으로 감시하기 시작했고 심지어 폭력적인 게임과 같은 특정 콘텐츠를 제한하기까지 했다. 시민 신뢰 점수는 낮을수록 증가하기는 기하급수적으로 어려워졌다. 점수가 매우 낮은 사람들은 보통 회복되지 않는다.

그녀는 왜 점수가 떨어졌어야 하는지에 대한 어떤 이유도 생각할 수 없었다. 그 점수는 기계 학습(machine learning)에 기초했고, 시민 신뢰 점수 제도는 사회를 움직이는 기름진 엔진처럼 작동했고, 신뢰 점수 시스템의 성능은 항상 면밀하게 모니터링되었다. 또한 기계 학습은 만들어진 초반보다 훨씬 더 좋아져서, 신뢰 점수 시스템이 내린 결정은 더 이상 논쟁의 여지가 없을 정도로 효율적이 되었다. 확실한 시스템이라 생각했다.

그녀는 절망에 빠져 웃었다. 완벽한 시스템이기 때문에 시스템에 오류가 발생한 경우는 거의 없다. 하지만 그것은 실패했다. 그녀는 이러한 특별한 경우(시스템의 오류)들 중 하나 임에 틀림없다고 생각하였다. 아무도 감히 그 시스템에 의문을 제기하지 않았고, 그것은 정부, 사회 그 자체로 통합되어 있어서 의문을 가질 수 없었다. 남아있는 몇 안 되는 민주주의 국가들에서는 반민주적인 운동을 하는 것이 금지되었다. 왜냐하면 그들은 본질적으로 악의적인 것이 아니라, 현재의 체제를 불안정하게 만들기 때문이다. 같은 논리가 현재 보다 보편화된 지도계층들에게도 적용되었다. 현상에 대한 위험 때문에 알고리즘에 대한 비판은 금지되었다.

알고리즘 신뢰는 사회질서의 구조이다. 공공의 이익을 위해서, 드물게 잘못된 신뢰의 점수는 암묵적으로 받아들여졌다. 수백 개의 다른 예측 시스템과 데이터베이스가 이 점수에 입력되어 그녀의 점수가 하락하는 원인이 무엇인지 알 수 없었다. 그녀는 크고 어두운 구멍이 그녀의 안과 아래에 열리는 것 같았다. 그녀는 공포에 질려 공허함을 들여다보았다.

그녀의 세금 우대 제도는 결국 시민 신뢰 점수 체계로 통합되었지만, 그녀는 결코 그것을 알지 못했습니다.

3. 페르미의 핸드아웃(Fermi’s Paperclips)

화성 정착 후 612년 : 화성 박물관(Year 612 AMS (after Mars settlement): A museum on Mars)

“역사는 지루해.” Xola는 친구에게 속삭였다. 파란 머리 소녀인 Xola는 왼손으로 교실에서 윙윙 거리는 프로젝터 드론 중 하나를 느리게 쫓고있었다. “역사는 중요합니다.” 선생님이 소녀들을 바라보며 화를 내면서 말했다. Xola는 얼굴이 빨개지며 선생님이 자신의 말을 들을줄 몰랐다.

“Xola, 방금 무엇을 배웠나요?” 선생님이 그녀에게 물었다. “고대 사람들은 Earther Planet의 모든 자원을 다 사용한 다음 죽었다..?” 그녀는 조심스럽게 대답했다. “아니야. 그들은 지구온난화를 야기시켰으며, 그들은 사람들이 아니라 컴퓨터와 기계였어. 그리고 Earther Planet이 아니라 Planet Earth야.”라고 Lin이라는 다른 소녀가 말했다. Xola는 동의하면서 고개를 끄덕였고 교사도 자긍심을 가지며 웃으며 고개를 끄덕였다. “둘 다 맞아요. 왜 그런 일이 일어났을까요?”, “사람들이 근시안적(short-sighted)이고 욕심이 많기 때문이에요” Xola는 대답하였다. “사람들은 기계를 멈출 수 없었어요!” Lin도 불쑥 말했다.

교사는“둘 다 맞아요. 하지만 그보다 훨씬 더 복잡하고, 당시 대부분의 사람들은 무슨 일이 있었는지 알지 못하였고, 일부는 급격한 변화를 보았지만 되돌릴 수 없었어요, 이 익명의 작가의 시는 그 시대의 가장 유명한 작품이에요. 당시에 발생한 일을 가장 잘 생각하면서. 잘 들어봅시다!”

선생님이 시를 읽기 시작했다. 수십 개의 작은 드론이 아이들 앞에서 스스로 위치를 바꾸고 비디오를 눈에 직접 투사하기 시작했다. 나무 그루터기만 남은 숲에 서 있는 정장을 입은 사람을 보여주면서 그는 말하기 시작했다.

The machines compute, the machines predict.
기계는 계산하고 예측한다.

We march on as we are part of it.
우리는 그 일부인것 처럼 전진한다.

We chase an optimum as trained.
우리는 훈련되고 최적화를 향해 간다.

The optimum is one-dimensional, local and unconstrained.
최적화는 1차원적이며 국소적이며 제한되지 않는다.

Silicon and flesh, chasing exponentiality.
실리콘과 육체는 기하급수성을 추구한다.

Growth is our mentality.
성장은 우리의 사고 방식이다.

When all rewards are collected, and side-effects neglected
모든 보상이 모일때, 부작용은 무시됐다.

When all the coins are mined, and nature has fallen behind
모든 코인이 채굴될때, 자연이 뒤쳐졌다.

We will be in trouble,
우리는 곤경에 처할 것이다.

After all, exponential growth is a bubble.
결국 기하급수적 성장은 거품이다.

The tragedy of the commons unfolding,
공통의 비극이 전개되고

Exploding,
폭발한다,

Before our eyes.
우리 눈앞에서.

Cold calculations and icy greed,
냉정한 계산과 얼음 같은 탐욕,

Fill the earth with heat.
지구를 열로 채워라.

Everything is dying,
모든 것이 죽어 가고 있다.

And we are complying.
그리고 우리는 그에 따르고 있다.

Like horses with blinders we race the race of our own creation,
눈가래개를 한 말처럼 우리는 우리 자신의 창조물과 경쟁한다.

Towards the Great Filter of civilization.
위대한 문명의 필터를 향해.

And so we march on relentlessly.
그래서 우리는 끊임없이 행진한다.

As we are part of the machine.
우리는 기계의 일부이기 때문에.

Embracing entropy.
엔트로피를 받아들인다.

“어두운 기억,” 선생님이 교실에서 침묵을 깨면서 말했다. “이 내용은 여러분 라이브러리에 업로드 될 예정이고, 숙제는 다음 주까지 이 내용을 외우는 거에요.” Xola는 한숨을 쉬었다. 그녀는 작은 드론 중 하나를 잡을 수 있었다. 드론의 CPU와 엔진은 따뜻해서, Xola는 손을 드론을 잡는 것을 좋아했다.