<세상은 넓고 할 일도 많다>21세기의 원유, 빅데이터!-승은석 (사)한국로봇교육연합회 부회장

<세상은 넓고 할 일도 많다>현재와 미래의 일자리 탐색

21세기의 원유, 빅데이터!

 

승은석 (사)한국로봇교육연합회 부회장/스템에듀케이션랩 원장

 

빅데이터는 무엇인가?

정보통신기술의 발달로 우리가 흔하게 듣게 되는 단어가 있다. “빅데이터!” 요즘 방송매체에 자주 등장하는데, 어떤 주제에 대한 분석 자료의 근거를 말할 때에 사용한다. 그러면 과연 이 ‘Big Data’는 무엇이며 우리의 생활과 무슨 연관성이 있는지 살펴보고 직업과 관련해서도 다루려고 한다. 빅데이터라는 말의 뜻처럼 ‘큰 데이터’를 가리키는 것처럼 보인다. 하지만 이 말은 단지 데이터의 양이 많다는 것만을 표현하는 것은 아니다. 최근 뉴스와 문화에 대한 분석 및 이슈를 살펴보려고 할 때에 이 단어를 자주 언급하는 것을 보게 된다.

 

빅데이터의 중요한 특징, 다양성

과거에는 정보를 수집하기 위해서 개인면담이나 전화 설문 등을 주로 이용하였다. 이런 정보들이 모여져 다양한 곳에 사용이 되었고 지금도 여전히 이런 방식이 사용되고 있다. 그러나 지금은 정보통신의 발달로 인하여 날마다 엄청나게 많은 양의 정보가 쏟아지고 있다. 이러한 데이터를 과거처럼 사람이 수작업으로 수집하고 저장, 분석한다는 것은 현실적으로 어려운 일이 아닐 수 없다. 예를 들어서 1분 동안 구글에서는 200만 건이 검색되어지고 있다. 자료뿐만이 아니다. 영상 서비스로 유명한 유튜브의 경우에는 1분 동안 72시간의 비디오 자료가 생성된다.

빅데이터의 특징은 크기와 속도, 다양성에 있다. 크기와 속도라면 어느 정도 이해가 될 것이다. 크기 면에서는 데이터의 크기가 수십 페타바이트(1 페타바이트는 DVD영화 17만 4천편을 담을 수 있는 용량)이다. 속도 면에서는 대용량의 데이터를 빠르게 처리하고 분석한다. 그런데 빅데이터의 중요한 특징은 “다양성”이다. 왜냐하면 빅데이터에는 컴퓨터가 쉽게 분석할 수 있는 정보만이 아니라 동영상, 사진, 사람이 쓴 글 등이 포함되기 때문이다. 그리고 이런 데이터는 그 양도 어마어마하고 생산되는 속도도 엄청나게 빨라서 이 모든 것을 수집하고 분석하는 것은 사람이 해결할 수 있는 선을 넘어섰다. 그래서 새로운 데이터 처리 기술이 필요하게 되었다.

 

다양한 자료를 가치있게 만드는 것

빅데이터를 활용하는 중요한 포인트는 빠르게 생산되는 많은 양의 다양한 자료를 ‘가치’ 있게 만드는 데 있다. 그래서 빅데이터를 “21세기의 원유”라고도 말하는 것 같다.

땅 속에 매장되어 있는 원유가 매우 가치 있지만 지상으로 끌어올려져서 가공해야 쓸모가 있는 것처럼, 빅데이터 역시 이러한 작업이 꼭 필요한 것이다. 세상에서 만들어지고 있는 수많은 정보를 가공하여 가치 있는 것으로 만들기 위해서는 빠른 컴퓨터와 정보를 처리하는 기술도 필요하지만 사람의 역할도 매우 중요하다.

예를 들어서 요식업 창업을 하려고 하는데 대상이 혼밥과 혼술 등 삶을 혼자 즐기는 사람이라면 어떤 분석을 할 수 있을까? 빅데이터를 이용하여 혼밥, 혼술과 연관된 단어들을 분석하면 다양한 정보들을 얻게 될 것이다. 만약 빅데이터의 분석을 통해서 ‘눈치’, ‘비용’, ‘불편함’ 등의 단어들이 많이 사용되었다면 이런 정보들을 참고함으로 요식업 창업에 큰 도움이 될 것이다.

혼자 식사를 하고 술을 마시는 사람들이 눈치 보지 않고 저렴한 비용으로 편안하게 즐길 수 있는 식당을 만들면 되는 것이다. 이처럼 많은 정보의 분석을 통하여 얻어진 결과를 응용하여 사업에 접목시킬 수 있게 되는 것이다.

일명 전문가의 ‘필, 감각’에 의해서 사업의 방향과 성공을 결정짓는 것이 아니라 가장 최신의 많은 양의 정보를 정확히 분석하여 현실성 있는 계획을 세울 수 있어야 하며, 이를 위해서 빅데이터 전문가가 필요하다. 엄청난 양의 정보를 가치 있는 정보로 분석하고 분류하는 일은 기계가 하겠지만 이러한 가이드라인을 정해서 제어하도록 주관하는 일은 사람이 해야 하기 때문이다.

 

발전 가능성이 많은 빅데이터 관련 직업

빅데이터와 관련된 일은 인공지능과도 연관을 가지고 있기에 발전 가능성이 많다. 최근에는 빠르면 6~7세부터도 접하게 되는 블록형 교육용프로그램언어(EPL)를 사용하면서 코딩에 관심을 갖는 학생들이 많아지고 있다.

어린 학생들도 쉽게 코딩을 배우고 활용하면서 빠르게 실력이 향상되고 있는 것을 교육현장에서 보게 된다. 중학교에서는 올해부터 소프트웨어 의무교육이 실시되고 있다. 정보과목이 신설되면서 꼭 알아야 할 분야로 인식되고 있는 것이다.

최근 기사에 의하면 한국의 첫 인공지능(AI) 변호사 ‘유렉스’가 지난 2월 대형 법무법인에 ‘취직’했다고 한다. 복잡한 법률 조항과 검토 및 판례 분석을 사람이 하려면 여러 명이 며칠이나 매달려야 한다. 그러나 유렉스는 단 20~30초 만에 업무를 끝낸다고 한다. 이것이 빅데이터의 활용이다.

이제 엄청난 자료를 수집, 분석, 분류해서 원하는 결과를 얻는 과정이 쉬워지고 있다. 사람이 하면 실수가 있고 오래 걸리는 일을 컴퓨터가 대신해주고 있다. 변호사들에게는 반갑지 않은 현상이지만 비싼 법률 상담이 부담스러운 의뢰인의 입장에서는 매우 반가운 소식이다. 이런 서비스가 가능하도록 기술적인 개발은 이미 준비되어 있다. 다만 정확한 서비스가 이루어지기 위해서 보완해야 할 것들이 남아 있을 뿐이다.

 

빅데이터의 장점 vs. 문제점

세상에 생겨나는 모든 새로운 기술들은 필요하기에 개발이 된 것이다. 이러한 기술들을 이해하고 적용해서 사용하는 것이 필요하다. 필요에 따라 생겨난 기술이지만 꼭 필요하고 건전하게 사용되고 있는지는 시간이 지나면서 대중의 판단을 받게 된다.

아무리 좋은 의도와 방향성을 갖고 있더라도 새로운 기술이 빛을 발하지 못하는 경우도 있다. 카이스트는 군사 인력을 축소하기 위해서는 로봇과 인공지능이 필요하다고 판단하여 연구를 진행 중에 있다. 그러나 살상무기를 만드는 연구라는 논란에 휩싸이면서 곤란을 격고 있다. 해외의 50명이나 되는 로봇관련 학자들이 이러한 개발을 시도하고 있는 카이스트에 대해 우려를 표명하며 공동 연구를 중단하겠다고 발표했다.

 

빅데이터에 대한 기술도 이와 비슷한 문제점들을 가지고 있다. 과거에는 ‘정보’라는 의미가 종이에 적혀져 있는 ‘활자’나 의견들을 수렴한 ‘통계’ 정도로 인식되었다. 그러나 지금은 모든 것이 수집되고 있다. 모두 기술의 발달로 가능해진 현상이다. 예를 들어서 스마트폰을 통해서 필요한 정보를 검색을 하면 그 검색한 단어가 자료에 남아서 다양한 곳에서 사용이 된다.

언론사에서는 이러한 정보를 활용해서 대중의 관심사를 파악하고 여론의 흐름을 분석한다. 제품을 개발해야 하는 회사에서는 소비자의 필요를 분석해서 빠르게 제품을 출시하는 데 활용한다.

하지만 문제점도 있다. 빅데이터를 이용하여 선한 일과 공익적인 발전에 사용할 수 있지만 한편으로는 개인 정보 침해라는 큰 문제점을 가지고 있다. 고객의 원함과 관계없이 모든 정보를 불법으로 수집하고 사용하는 것이 가능하기 때문이다. 나쁜 의도를 가지고 마음만 먹으면 실시간으로 감시할 수 있는 기술이 구축되어 있다. 그래서 정부의 규제가 있지만 아주 교묘하게 정보를 수집할 수도 있다.

 

기업은 이윤을 추구하기에 최대한 필요한 정보를 빠르고 정확하게 얻기를 원한다. 요즘 흔한 기능이지만 포털사이트에서 내가 검색한 것을 자동으로 분석해서 관심이 있는 분야의 상품을 자동으로 팝업으로 안내해주기도 한다.

어떻게 내가 원하는 것을 알고 찾아주는지 깜짝 놀랄 때도 있다. 이러한 기능이 공익적인 목적으로 사용된다면 매우 좋은 기술이 된다. 최근 미국에서는 빅데이터를 활용해서 자주 범죄가 일어나는 지역과 시간대를 분석해서 우범지역을 순찰했고, 결과적으로 범죄가 많게는 30% 넘게 예방되었다고 한다. 이처럼 빅데이터는 미래를 예측할 수 있는 기술이기도 하다.

완벽한 예측은 아니더라도 수많은 정보를 분석하고 정리해서 가장 필요한 답을 찾아내는 데 사용할 수 있다. 일본에서는 택시사업에 빅데이터와 인공지능을 활용한다. 고객이 택시를 필요로 하는 시간과 장소에 대한 정보를 축적해 놓고 택시가 한 지역에 몰리지 않게 한다. 고객이 많은 곳에는 택시를 많이 배치하고 고객이 적은 곳에는 적게 배치하였더니 회사의 운영비는 줄어들고 매출은 증가하게 되었다.

 

빅데이터를 통한 미래 예측과 창업

빅데이터라는 새로운 정보기술의 발달과 개발은 기존에 있었던 산업과의 융합으로 더욱 폭 넓게 발전하게 된다. 여기서 생각해 볼 것은 미래의 새로운 직업은 ‘단순한 일’에서 벗어나서 융합적이고 기존의 산업을 더욱 발전시키는 측면이 있다는 점이다.

IT관련 글로벌 기업이 매우 중요시하는 것은 고객들의 정보이다. 단순한 인적 사항이 아니라 현재의 필요를 정확하고 세부적으로 파악해서 미래의 사업과 방향성을 정하고 시행착오를 줄이는 전략을 펼치고 있다. 구글, 아마존, 애플, 페이스북, 알리바바 등의 거대 기업들은 어마어마한 정보의 빅데이터를 활용하여 사업에 적용하고 있다. 곧 ‘가치 있는 정보’가 이들에게는 경쟁력이 되어가고 있다.

과거 제조업에 의존되어 있던 한국 기업들에게 필요한 분야가 있다면 정보의 수집과 분석이다. 정보를 가치 있게 가공해서 소비심리를 정확히 파악하여 상품을 개발해야 한다. 이러한 일은 비단 큰 규모의 기업만이 할 수 있는 것은 아니다. 이미 빅데이터 기술은 공개되어 있고 이것을 활용하면 새로운 사업을 구상하여 만들어낼 수 있다.

빅데이터 관련 기술 중에 ‘하둡(Hadoop)’이 있다. 하둡은 빅데이터의 처리를 돕는 기술로 많은 양의 데이터를 처리할 수 있는 소프트웨어라고 생각하면 된다. 이것을 이용하면 시간과 비용을 절약해서 데이터를 처리하고 가공할 수 있다. 이러한 기술을 활용하면 새로운 창업 아이템이 생겨날 수 있고 빅데이터 관련 직업을 준비하는 데 큰 도움이 될 것이다. 더 궁금한 사항은 메일로 연락주시기 바란다(leojennie@hanmail.net).