아마존의 인공지능 개발

실리콘 앵글의 웹 사이트 (siliconangle [dot] com)에서 “Amazon blazes a trail to the next frontier in AI: the cloud”를 옮겼습니다. 원문은 2017년 4월 22일에 게재되었습니다.                                              

                                     

‘아마존 닷 컴 (Amazon [dot] com Inc.)’은, 구글 (Google Inc.)이나 마이크로소프트 회사 (Microsoft Corp.), 페이스북 (Facebook Inc.), 그리고 아이비엠 (IBM Corp.) 등이 종종 포함되는 인공 지능을 선도하는 회사의 상위 목록에는 자주 보이지는 않았습니다: 그러나, 이제 변화가 일어납니다. 아마존의 최고 경영자인 베조스 (J. Bezos)씨는 최근에 주주들에게 해마다 보내는 편지에서 공개하기를, 그의 생각으로는 ‘머신 러닝 (machine learning)’이야말로 그의 회사의 미래를 위한 열쇠라고 했습니다: 머신 러닝은 인공 지능의 한 분야로써, 명백하고 구체적으로 프로그램이 되어있지 않아도 컴퓨터가 배울 수 있도록 컴퓨터를 가르치는 것입니다 (“machine learning, the branch of AI teaches computers to learn without being explicitly programmed”). 특히, 인공 지능을 선도하는 다른 기관들이 그런 것처럼, 아마존 역시 ‘딥 러닝 뉴럴 네트워크 (deep learning neural networks)’에 초점을 맞추고 있습니다: 이것은 뇌가 배우는 방법을 원초적으로 모방하려는게 목표라고 합니다. ‘딥 러닝’은 ‘말하기 (speech)’와 ‘이미지 (image)’ 인식에 있어 지난 몇 년 사이에 크게 발전하여, 아마존의 ‘알렉사 (Aelxa) 음성 어시스턴트’라든가 혹은 구글의 자율주행차 등 이 모든 것을 가능하게 했습니다. 베조스씨가 말하듯이, 아마존의 어떤 것들은 눈에 띕니다: 예를 들어 알렉사라든지, 혹은 프라임 에어 배달을 하는 드론 (Prime Air delivery drones)이라든지 그리고 ‘머신 러닝 (machine learning)’으로 지불계산대를 없애게 한 ‘아마존 고 (Amazon Go)’ 등입니다. 그러나, 머신 러닝이 담당하는 다른 일들은 무대 뒤에 있어서 잘 보이지 않습니다: 예상을 하게 하는 것 그리고 상품 권유 등등을 하게 하는 기능은 눈에 띄지 않고, 베조스씨는 이런 부분이 가장 영향력이 있을 것으로 보고 있습니다.   

이 분야를 눈여겨 보십시요 (“Watch this space”): 다음 단계는 머신 러닝을 개발자들에게 퍼뜨리기 위하여 ‘아마존 웹 서비스 클라우드 (Amazon Web Services cloud)’를 사용하는 것입니다 – 그러기 위해서 비용도 낮추고 사용하기에 편리하도록 합니다. 아마존은 지난 가을에, 알렉사의 중요 부분인 ‘렉스 (Lex)’와 같은 새로운 서비스를 통하여 그리고 클라우드를 통하여, 개발자들이 자사의 머신 러닝에 접근할 수 있게 했습니다: 이렇게 함으로써 봇 (bots)과 같은 대화적인 인터페이스 (conversational interfaces)를 만들 수 있고 또 텍스트를 말하게 만드는 (“turning text into speech”) 폴리 (Polly), 이미지 분석과 관련 작업을 위한 레컥니션 (Rekognition) 등이 있습니다. 베조스씨는 이렇게 말합니다: “고객들은 이미 초기 질병 진단부터 수확을 증가시키는 등 모든 분야에서 기능하는 시스템을 만들고 있습니다. 이 분야를 눈여겨 보십시요. 더 많은 것들이 나올 것입니다”. 아마존의 창립자는 최근의 뜨거운 트렌드만 따라가는 것이 아닙니다. 머신 러닝은, 구글이나 마이크로소프트 등의 경쟁 회사와의 클라우드 컴퓨팅 전쟁에서 아마존을 도와줍니다: 이들과 같은 경쟁 회사들은 시애틀에 기반을 둔 온라인 유통 거인에 경쟁하여 세력을 얻으려 하고 있습니다. 새로운 보고서에서 ‘CB 인사이트 (CB Insgihts)’가 말하기를, 아마존에 있어서 프라임 무료 배송과 AWS 만큼 중요하다며, “아마존의 다음 주요 목표는 인공 지능이 될 것입니다. 그 어느 때보다도 더, 아마존은 플랫폼 회사가 될 목표를 가지고 있습니다”라고 했습니다. ‘가트너 (Gartner)’ 등의 지론에 따르면, 클라우드 머신 러닝을 제공함에 있어 아마존은 마이크로소프트와 구글을 따라잡을 방법이 있다는 것입니다. 지난 주에 샌 프란시스코에서 있었던 개발자들을 위한 ‘AWS 서밋 (AWS Summit)’에서, 회사는 이러한 상황을 개선할 새로운 업데이트와 기능들을 발표했습니다. 아마존의 머신 러닝 계획을 더 깊이있게 알아보려, 실리콘 앵글은 아마존 웹 서비스의 ‘아마존 인공 지능 (Amazon AI)’의 부사장인 시버스브라마니언 (S. Sivasubramanian)씨를 개발자 회의에서 인터뷰했습니다. 다음에 나오는 내용은 편집한 대화입니다.                                                                 

질문: 아마존이 연구하고 있는 머신 러닝의 범위에 대하여 말씀해주시죠 (“Tell me about the range of work Amazon is doing in machine learning”)   

대답: 세 개의 층이 있습니다. 가장 위에 있는 층 (혹은, 탑-레이어, “top-layer”)의 응용은 렉스 (Lex), 폴리 (Polly), 그리고 레컥니션 (Rekognition) 같은 것인데, 딥 러닝 모델에 대하여 ‘프리트레인드 (pretrained)’된 것입니다: 딥 러닝에 대해서 알기를 원하지 않지만, 그럼에도 듣고 말하고 볼 수 있는 ‘지능적인 응용 (intelligent applications)’을 만들어내고 싶은 개발자들을 위한 ‘응용 프로그램 인터페이스 (application programming interfaces)’입니다. 다음의 층은, 아마존 머신 러닝과 같은 API 플랫폼 (API platform) 서비스와, 또한 EMR과 같은 다양한 부분들입니다 (EMR은 Elastic MapReduce로써, 엄청난 양의 정보를 분석하기 위한 것입니다): 이것은 그들 자신의 머신 러닝 모델을 만들기를 원하는 개발자들을 위한 것인데, 이러한 자신들의 모델은 레드쉬프트 [Redshift, AWS의 데이터 웨어하우스 (data warehouse)]나 ‘관련적인 데이터베이스 (relational databases)’ 위에 자리잡습니다. 그리고, 제 팀이 일하고 있는 그 다음 층은 ‘딥 러닝 프레임워크 (deep learning frameworks)’와 ‘머신 러닝 알고리듬 (machine learning algorithms)’입니다. 제 팀에 있는 여러 명의 과학자들은 ‘코어 딥 러닝 프레임워크 (core deep learning frameworks)’에 대하여 연구하고 있습니다. AWS에서는, 저희 모두 모든 딥 러닝 프레임워크에 대해서 열린 마음으로 지원합니다 – 아파치 엠엑스넷 (Apache MXNet)에서부터 텐솔플로우 (TensorFlow), 그리고 카페 (Caffe), 그리고 테아노 (Theano) 등등 말입니다.  

질문: 넓게 말해서, 당신이 이루려고 하는 것은 무엇입니까? (“Broadly speaking, what are you trying to accomplish here?”)

대답: 저희의 목표는 인공 지능을 민주적으로 만드는 것, 즉 모든 개발자들에게 접근 가능한 인공 지능을 만드는 것입니다. 큰 범위에서는, 심지어 현재에도 인공 지능을 만들려면, 많은 경우에 머신 러닝 분야에서 정말 일을 잘하려면, 박사 학위가 요구됩니다. 저희는, 볼 수 있다거나 듣고 말하고 혹은 이해하는 등의 인간이 할 수 있는 것들을 실제로 하는 지능적인 응용의 새로운 종류를 만들고자 합니다. 그리고, 사업체들과 기업들이 AWS에 저장해놓은 정보로 지능적인 결정을 하고자 할 때 저희는 이를 가능하게 하고 싶습니다.

질문: 우리가 그런 것을 어디서 볼 수 있나요? (“Where can we see all that in action?”)   

대답: 넷플릭스 (Netflix)는 딥 러닝을 이용하여 ‘권유 엔진 (recommendation engine)’을 만들어서, 고객들이 보고 싶어할 만한 것들을 권합니다. 핀터레스트 (Pinterest)는 이미지 인식을 위하여 했습니다. 저희는 아마존내에서, 수행과 물류를 위해서 머신 러닝을 사용하려 합니다: 고객이 무엇인가를 사려 주문을 누를 때, 무엇을 고를 것인지 그리고 보내는 것을 알기 위하여 로봇이 컴퓨터 비전과 딥 러닝을 사용합니다 (“a robot uses computer vision and deep learning to know what to pick and send it over”). 저희는 기존 상품을 향상시키기 위하여 이러한 것들을 사용하기도 하는데, 예를 들어, ‘엑스-레이 (X-Ray)’는 아마존 인스턴트 비디오 (Amazon Instant Video)에서 괜찮은 기능입니다 – 고객이 프레임 (frame)을 ‘프리즈 (freeze)’하면, 그 프레임안의 배우들이 누구인지 컴퓨터 비전과 딥 러닝을 이용하여 알려줍니다”. 그리고 저희는 새로운 상품을 만들기 위하여 이러한 것들을 이용합니다. 저의 두살배기 아기는 알렉사가 마치 사람인 것처럼 그와 이야기합니다. 그리고 ‘아마존 고 (Amazon Go)’는, 그 기술로 체크아웃/지불과정을 없애는 능력을 보여주었습니다 – 누가 더 잘하는지 두고 보아야겠지요.

질문: 아마존은 최근에 인공 지능에 대하여 관심을 갖는 등 존재감이 더해갑니다. 그럼에도, 구글이나 마이크로소프트, 페이스북 그리고 다른 회사들이 더 많은 관심을 받고 있습니다. 당신은 이러한 현상을 바꾸어가려 하나요? (“Amazon has been more visible lately talking about AI, but Google, Microsoft, Facebook and others seem to get more attention. Are you trying to change that?”)   

대답: 아마존에서는, 고객에게 중요한 일들에 더 집중하는 경향이 있습니다. 아마존 고에 대해서도, 저희는 말하기를, “이것은 체크아웃/지불과정을 생략하여 고객으로 하여금 더 빨리 쇼핑을 할 수 있도록 도와준다”라고 말합니다. 저희는 “이것 좀 봐, 아주 괜찮은 딥 러닝 응용이야, 그리고 유용하기도 하지”라고 말하지는 않습니다. 알렉사에 대해서도 마찬가지입니다. 나는 과학자로서 알렉사를 가치있게 생각합니다만, 그러나 제 가족이 알렉사에게 말을 거는 것을 더 좋아합니다. 이렇게 말을 하고 나서 다음과 같은 사항을 말씀드리려 합니다: 아마존은 몇 년에 걸쳐 머신 러닝과 인공 지능에 엄청난 투자를 해왔습니다. 그리고 저희는 과학자의 공동체에서도 이런 사실에 대하여 널리 알렸고, 저희의 기여를 해왔습니다. 저희는 아마존으로부터 많은 [제안서의] 제출이 있었고, 연구 논문 등등이 있습니다. MXNet에서는, 저희는 기여의 35 퍼센트를 ‘코드 커밋 (code commits)’으로 합니다.

질문: 딥 러닝 알고리듬에 무슨 일이 일어났습니까? 20여년 전보다 현재 훨씬 향상되었습니까? (“What changed to make the deep learning algorithms, which have been around 20 years or more, work so much better today?”)   

대답: 세 개의 일입니다. 이제는 저희가 – ‘저장 벤더 (storage vendors)’에 엄청난 돈을 지불할 필요없이 – 저렴하게 이 모든 정보를 저장할 수 있게 되었습니다. 둘째로, 특수화된 컴퓨팅, 그리고 GPUs [graphics processing unit]와 FPGAs [field-programmable gate array] 칩에 접근 가능하게 됨에 따라, 이들 응용을 더 놀랍게 발전시켰습니다. 마지막으로, 이런 것들이 만들어지고, 훈련되고 나면, 저희는 클릭 한 번으로 수백개의 GPUs에 ‘분산된 트레이닝 인프라 스케일링 (distributed training infrastructure scaling)’을 운영하기 위하여 ‘미리 환경설정된 템플레이트 (preconfigured templates)’로 더 쉽게 만듭니다. 이러한 단순성으로 고객은 더 쉽게 프로그램할 수 있으며, 이런 것들 모두 클라우드 때문에 놀랍게 변화한 것입니다.   

미래의 계획은? (“What’s next”)

질문: 새로운 알고리듬이나 테크닉에 대응하여, 아마존에서 어느 정도의 범위로 기존의 기술에 초점을 맞추고 있습니까? (“To what extent is Amazon’s work focused on applying existing technologies as opposed to coming up with new algorithms or techniques?”)    

대답: 저희는 다음과 같은 분야에서 많은 기본적인 혁신적인 연구를 합니다 – ‘말하기 인식 (speech recognition)’, ‘자연 언어 이해 (natural language understanding)’, 그리고 ‘시각 이해 (visual understanding)’ 등등. 십 년전을 생각해보시면, 고객들에게 저희가 실제로 원하는 것을 정확하게 주기 위하여, 딥 러닝 기술의 한계를 깨고 더 많이 연구해야만 했습니다. 알렉사와 마찬가지로, 지금은 알렉사가 매우 인기있지만, 저희는 이 모든 연구에 더하여 새로운 종류를 발명해내야만 했습니다 – 고객이 원하는 경험을 만들어내려면요. 아마존 고의 경우도 마찬가지로, 딥 러닝과 컴퓨터 비전의 기술의 상태를 저희가 상당히 향상시켜서 나오게 된 것입니다. 저희는 또한 – 딥 러닝 프레임워크와 같은 – 코어 엔진에 관한 기본적인 연구도 하고 있습니다. 저희는 딥 러닝 엔진에 관하여 연구하는 팀이 있으며, 그 시스템을 스케일 (scale)하기 위하여 매우 지속적으로 노력하고 있습니다. 저희 고객들은 그들이 처리하기 원하는 데이터를 ‘페타바이트 (petabytes)’로 가질 수 있습니다 – 이미지라든가 비디오 등등. 확장성 (scalability)은 다가올 미래에 차별화될 주요 요인 중 하나입니다 – 고객이 처리하기 원하는 정보의 양은 계속 늘어나기 때문입니다.  

질문: 개발하시는 머신 러닝 모델은 클라우드 네트워크쪽에서 최신으로 발달할 수 있습니까? 예를 들어 중앙 클라우드에 답신을 기다릴 수 없는 자율 주행차와 같은? (“Can your machine learning models also work at the edge of cloud networks, such as for self-driving cars that can’t afford to wait to call back to the central cloud?”)   

대답: 저희들의 생각으로는, 클라우드를 위하여 만들어진 모델은 최신으로 발달할 수 있다고 봅니다. 저희가 만든 ‘딥 러닝 모델 (deep learning model)’은 기존의 컴퓨터 환경에서 운영될 수 있으며, 혹은 EC2 (AWS’s Elastic Compute Cloud service, AWS의 엘라스틱 컴퓨트 클라우드 서비스)에서, 혹은 Lambda (AWS’s ad-hoc computing service, AWS의 특별 컴퓨팅 서비스) 안에서 운영될 수 있습니다. 그린그래스 (Greengrass, “software to allow offline operation and local processing of data on the fly without requiring cloud services” (그린그래스는 소프트웨어로써, 오프라인 운영과 정보의 지역적인 처리를 허용합니다, 클라우드 서비스를 반드시 요구하지 않습니다 )) 역시 기기들안에서 운영할 수 있는 아주 훌륭한 환경입니다. 제 팀은, 테이블에 놓여있는 사물을 인식하는 엠엑스넷 딥 러닝 모델 (MXNet deep learning model)을 수정하여 라스베리 파이 카메라 (Raspberry Pi camera)에서 운영될 수 있도록 만들었습니다. 저희의 희망은, 하이브리드 (hybrid)는 가능할 것인데, 빠른 사용 사례들을 위한 몇몇의 딥 러닝 모델은 운영될 것 (“some of the deep learning models will run at the edge for the quick use cases”)이고, 그리고 좀 더 복잡한 몇몇 사용 사례들은 클라우드안에서 운영될 것입니다. 이것이 바로 알렉사가 운영되는 방식입니다. 따라서 저희 생각에는, 미래에는 새로운 하이브리드 모델의 배치가 더 흥미로울 것으로 봅니다.

질문: 머신 러닝 분야에서 다음 단계는 무엇입니까? (“What’s next in machine learning?”)   

대답: 저의 딸이 두 살 (혹은 한 살 정도였을 때), 두 개의 토마토를 보더니, 그 후에는 토마토가 무엇인지 인식했습니다: 그것을 인식하기 위해서, 천 개의 토마토를 굳이 볼 필요는 없었습니다. 그래서, 저는 생각하기를, 딥 러닝은 이제 초기 단계라고 생각합니다. 매우 제한된 정보로도 딥러닝 모델의 정확성을 향상시킬 수 있는 실제적인 기술이 있습니다. 저희는 이런 것들을 많이 실험했습니다. 그리고 때때로 사람들은 절대적인 정확성을 필요로 하지는 않습니다. 예를 들어, 시각적으로 찾는 것 말입니다 – 사람들은 조금 정확성이 덜해도, 그들이 원하는 더 괜찮은 적용 범위를 가질 수 있으면 만족합니다. 따라서 앞으로 많은 것들이 나올 것입니다. 만약 [지금의 이 상태가] 아마존에서의 첫째 날이라면, 여기 머신 러닝 부문은 지금 막 깨어난 상태의 아주 이른 아침이라는 단계입니다.