기술의 윤리적 문제?

MIT의 technology review에서 재미있는 기사를 다루었다.

(이미 읽은 분들도 있겠지만.)

소위, self-driving car를 만들때, 각각의 상황에서 어떻게 자동차가 작동하도록 만들어야 하는가?
(a)는 직진을 하면 많은 사람이 죽거나 다치고, 회전을 하면 한사람만(+운전자)을 죽거나 다치게 하는 경우,
(b)는 직진을 하면 행인이 죽거나 다치고, 회전을 하면 운전자가 죽거나 다치는 경우,
(c)는 직진을 하면 많은 사람이 죽거나 다치고, 회전을 하면 운전가가 죽거나 다치는 경우이다.

순전히 ‘공리적’으로만 생각하면,
a,b,c 모두 회전을 하는 것이 더 옳다고 이야기하기 쉽다.
왜냐하면 더 적은 사람이 다치게 되고, 혹시 운전자가 다치는 경우라 하더라도 운전자는 차 안에 있으므로 부상의 정도가 덜 할 가능성이 더 있기 때문이다.

그런데 문제는…
과연, 인위적으로 어떤 사람(들)을 선택적으로 다치게하는 것이 괜찮은 건가?
과연, 다른 사람대신 운전자가 죽거나 다치게되는 차를 소비자가 살까?
뭐 등등의 질문이 있게 된다.

Technology review에서 선택한 기사의 제목이 아주 자극적이다.
“Why Self-Driving Cars Must Be Programmed to Kill”

14 thoughts on “기술의 윤리적 문제?”

    1. 군대, 정치등에서 종종 겪는 상황이 기술분야까지 온거군요…. 그럼 이런 상황에 대해 차 프로그래밍 한 사람에게 소송이 걸릴 수도 있을거라는….

      1. 결국은 Artificial Intelligence가 가져오는 당연한 consequence인것 같은데요…
        점점 기술이 사람에 가까워지고, 기술이 사람의 삶에 녹아들수록 이런 경향은 점점더 가속될 것 같습니다.
        그래도 hardware engineer들은 이런 것으로부터는 좀 더 자유롭지 않을까 하는 생각을 해봅니다. ^^

    2. 이런거 좋습니다!!!!! ㅎㅎ
      다만, 학생들에게는 이렇게 얘기하지 마세요.
      완전 왕따당하시는 수가… ㅋㅋ

      1. 진짜루요…… 브레이크 실시간으로 제대로 작동하는지 모니터해서 제동력 없다싶으면 운행 안되도록 하고, 레이더랑 카메라+이미지 프로세싱으로 리던던트하게 미연에 예방하고, 그리고 차 앞에는 보행자 에어백 설치하고,

        그러고도 어떤 결정을 내려야 하는 알고리즘을 짜야한다면, 그냥 사표 쓸께요.

        엔지니어 사표를 던지더라도 그런 코딩은
        쫌……

        1. 실제 세상은, 문제가 그리 단순하지 않지요.
          갑자기 어린아이를 가득 채운 작은 밴이 신호를 무시한채 교차로를 들어올 수 있잖아요. 내가 50mph로 달리고 있는데.

          all-or-nothing의 접근은,
          목사님들의 설교로서는 적절할지 모르지만,
          실제 삶을 사는 평신도의 삶속에서는 자칫 비겁한 회피가 될수도 있지요.
          책임있는 사람이라면, 그 상황의 중간에 자신을 밀어넣고, 하나님의 지혜를 구하며 문제를 풀어봐야 하지 않을까요?

          1. All-or-nothing 이라기 보다는, 이런거죠. 지금의 교차로나 앞에서 예로 드는 문제는 이미 그 동안의 교통 사고에서 충분히 예상할 수 있는 문제인데요. 이런 케이스에서 self driving 자동차가 어떤 utility를 가지고 판단하고 알고리즘 자체를 짠다는 게 잘못 되었다는거죠.

            Self driving을 drive하는 건 우리가 악한 탓에 편의성을 강조한 마케팅이 원동력이겠지만, 기술은 사람이 운전할 때보다 더 안전해야죠. 다시 말해서 사람이 운전할 때처럼 이런 경우처럼 턴을 하느냐 마느냐란 경우까진 와선 안된다고 봅니다.

            일단 위에서 턴의 경우나, 교차로의 문제나 전방 뿐만 아니라 교차로에서 다른 차가 빠르게 접근하는 물체에 대해서 미리 감지할 수 있는 기술이 선행되어야 하고, 어차피 이런 수 많은 정보를 사람이 다 처리할 순 없을테니, 이런 정보를 다 조합해서 더 안전하게 미리 예방할 수 있어야 한다는게 self driving의 바른 접근 같다라는 거죠.

            지금 까지의 모든 예상과 준비를 뒤엎은 사태에 대한 마지막 default case문에는 정지가 들어가는게 맞다고 생각합니다. (좋은 브레이크가 필요하겠죠 ㅎㅎ) 안타까운 일이겠지만, 우리는 완벽했던 적이 없죠. 거기서 더 배울 수 있겠죠.

            그렇지만, 준비할 수 있고 개선할 여지가 많은데 self driving을 위한 이런 우선순위가 잘못된 코딩은 엔지니어에게 무리한 강요가 아닌가 싶네요.

            며칠전에 테슬라에서 auto pilot이란 말도 안되는 마케팅을 하는 것도 불편하고, self driving이 그냥 대충 목적지까지 가면 되는 것 처럼 인식되는게 안타깝네요.

            적어도 안전면에서 기술이 좀 더 자리 잡으면 이런 코딩에 당면할 일은 줄지 않을까요?

          2. 음…
            그런데요, 앞에서는 유치원생이 탄 차가 끼어 들었고, 바로 옆에는 walker를 가지고 걷는 노부부가 걸어가고 있고, 또 반대쪽에는 절벽이고…
            이런 경우, 어떤 운전자는 ‘의도적’ 결정을 하지요. 아, 물론 의도적 결정을 하지 않는 운전자도 있지만요.

            만일, self-driving machine이 여기서 어떤 결정도 하지 않겠다고 하는 것 조차도 어떤 결정이지는 않을지요?

            저는 여전히…
            모든 안전문제가 해결된 다음에야 이 기술이 implement되어야 한다는 notion에는 좀 동의하기가 어렵네요. (물론 안전에 많은 노력을 기울이긴 해야겠지만요.)
            왜냐하면, 어차피 운전을 하는 환경 자체가 상당히 random하고 chaotic 하기 때문이지요.

            현실적으로, 정부와 기업이…. safety에 관한 every single detail을 다 figure out 할때까지 기술의 도입을 늦추겠다고 접근할리도 만무하고요. (every single detail을 다 figure 하는 것이 불가능하기도 하지만요.)

            현실적으로, 그럼에도 self-driving car가 human-driven car보다는 더 안전할 가능성 높은데, 결국은 돈을 가지고 그 technology를 사는 사람에게만 기술과 안전의 혜택이 돌아가게 된다는 불평등의 이슈도 있겠고요.

            Technology review에서 나온 예에서도,
            당연히 break 없이 들이박자는 건 아니죠.
            brake을 하지만, 현재 기술로 문제를 모두 해결하기 불가능한 상황이 있을 수 밖에 없고, 그럴 경우 어떻게 해야하느냐는 문제가 아닐지요?

            모든 차가 서로 signal을 내어서 communicate하고 그래서 서로 사고를 방지하는 것을 적용하여야 한다고 한다면, 그럼 전 세계의 자동차가 한꺼번에 모두 upgrade될때까지 기술 적용이 불가능해지지요.
            pedestrian은요? 그 사람들에게도 tag을 붙여서 위치 추적을? 아마 ALCU같은 데서 또 완전히 눈에 불을 켜고 반대할껄요. ㅋㅋ
            이상적인 안전에 대한 생각을 포기하지 않는 것은 물론 중요하지만, 그 이상에 미치지 못할때 현실적으로 맞닥드려야하는 상황에 대한 대비도 해야하지는 않을지요?

            뭐 이건 그저 비전문가로서의 제 생각이니, 당연히 제 생각과 다른 의견도 있을 수 있다고 생각합니다. ^^

  1. 일단 모든(!) 안전 문제가 해결되기 전에 기술을 도입하자는 것이 아닙니다. Self driving은 많은 다른 기술들을 기반으로 합니다. 주변인식, 위치인식, 자동차 제어, 등등 말이죠. 이런 기술들이 더 준비되어야 하는데, 시장성이나 이윤추구를 위해서 의도적으로 생략되거나 뛰어 넘는건 잘못되었다는데는 이의가 없으실 거예요. 그런데 여기 나오는 (지금까지의 모든 예)가 그런 기술들이 마치 없거나 생략된 것 같은 불편한 예라는데 문제가 있는 것 같습니다. (혹은 강요받는 것 같은…)

    일단 차 앞에 열명의 사람이 나타나는데 방향을 틀거나 직진했을 경우 누군가가 다치거나 혹은 사망할 수 있다면 이미 말이 안되죠. 제동 가능한 안전거리 내에서 센싱이 안되는 self driving 자동차라니!

    그리고 옆에서 노인이 걷고 있는 상황에서 유치원생이 많이 찬 밴이 끼어들었다면 현실적으로 95프로 확률 이상으로 시속 35마일 이하일 겁니다. 만약에 옆에 절벽까지 있었다면 99퍼센트 확률로 더 올라가겠죠. 여기선 감속하는 것 만으로도 충분히 사고를 회피할 수 있죠. 대충만 self driving 자동차를 만들어도 사고를 피할 수 있을 거예요.

    이 중에서 제일 어려운 예는, 개인적으로, 교차로 문제인데요. 이건 현재 기술로 안됩니다 제가 알기로는요. 그래서 이런 경우는 더 넓은 범위까지 센싱할 수 있는 소위 군사용으로나 쓰일만한 기술이 필요해지겠죠. 개인적으론 이런 기회에 이런 기술까지 도입됐으면 좋겠어요. 현실적으론 안 그렇겠지만요. 그럼에도요, self driving이 아닌 경우에 “으악~~~”소리 지르고 비명 횡사하는 것 보다, 뭔가 좀 더 나은 결정을 할 수 있는 여지가 있겠죠. (지금의 센싱 기술만 쓰더라도요)

    여기 까지 왔다면 내가 혼자탄 자동차 (옆으로 받히는) 알고리즘을 어떻게 짤까와 아이를 태운 밴 알고리즘을 어떻게 짤지를 고민해볼 가치가 생기는 것 같은데요. 혼자탄 자동차는 제동이나 가속이겠죠 (먼저 보내거나, 내가 먼저 건너기 위해).
    그리고 아이를 태운 밴이라도 제동 외에는 별 방법이 없죠. 밴에 애들까지 많은데 가속은 사고를 회피할 가능성이 낮죠.
    이 케이스에서는 목적이 누구를 덜 희생시키기 보다 그냥 사고 확률을 낮추기 위함이겠죠.

    뭐 아무튼, 누군가를 덜 희생시키기 위해 코딩을 해야 하는 경우는 잘 못 찾겠네요. 어떤 이야기를 하려고 하는지는 알겠지만 예들이 너무 억지스러운 것 같아서요.

  2. 아 그리고 보행자는 지금 현재로도 훌륭하게 잘 인식되는 기술들이 있습니다. 이미지 프로세싱으로요. 정말 코메디는 볼* 사의 safe stop기능이 언론 보도 자료 날 기자를 받아보렸다는데 있죠. 겹쳐진 사람들은 제대로 못한 거 보면, 윤곽이 뚜렷한 형체만 가능한게 현재인 것 같기도 하네요. 흠… 적외선 열 감지는 필수겠군요.

    보행자 tag는 유머시죠?

    1. 음… 인돌님 포인트는 알겠는데요,
      Technology review에 나오는 예는,
      그런 것들이 다 적용하기 어려운 경우에 어떻게 하겠느냐는 것이거든요.
      그러니까, 정말 아주 드문 case를 이야기하는 거죠.
      뭐 만나서 더 얘기 해요. ^^

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.