[스크랩] 정보홍수속에서 생존방법은? 조회(41)

[스크랩] 정보홍수속에서 생존방법은?   조회(41)
 
프로그래밍 | 2005/02/21 (월) 16:55   추천(0)  | 스크랩(0) 
 
 

‘정보 홍수’ 어떻게 조절할까
(DATA OF RECKONING)
Quentin Hardy 기자 
 
 
 

요즘 기업들은 과거와 비교가 안 될 정도로 많은 정보를 접한다. 하지만 이제 시작일 뿐이다. 문제는 정보의 홍수 속에서 어떻게 살아남을 수 있는가 하는 점이다.
현재 사용되는 전자 기기들은 많은 정보를 섭취한다. e메일, 웹 페이지, 신용카드 거래, 전화 메시지, 주식 거래, 메모, 주소록, 방사선 스캔 등을 저장하는 것이다. 여기에 소요되는 모든 데이터 양을 계산한다는 것은 불가능하지만 추산은 가능하다. 2002년 세계적으로 5엑사바이트(exabyte ·EB)의 정보가 만들어졌다. 1EB는 소설책 1조 권에 해당하는 데이터 양이다. 2002년 데이터 총계는 인류가 지금까지 내뱉은 모든 단어보다 많은 양이다. 2000년보다 68% 증가했다.

정신없이 창출되는 정보 덕에 넬슨 매토스(Nelson Mattos ·44) 같은 이들이 해고당할 일은 없을 것이다. 매토스는 IBM의 정보통합 프로젝트를 총괄하고 있는 컴퓨터 과학자다. 세계에서 이름난 데이터 전문가 가운데 한 사람인 그는 기업이 날마다 저장하는 정보를 정리하는 데 한몫한다.

IBM의 방대한 ‘데이터 관리 소프트웨어 그룹’에서 일하는 매토스는 “누구든 정보투자 가치 창출법, 정보 창출량 ·저장량,정보 위치, 정보 형태, 최신 버전 파악에 어려움을 겪고 있다”며 “이런 문제들 가운데 어떤 것도 줄지 않고 있다”고 설명했다. 대기업 데이터베이스(DB)는 지난 5년 사이 규모가 100배로 증가했다. 컴퓨팅 시스템, 응용프로그램, 전자상거래의 확산은 물론 정부가 법으로 정한 기록 보존 의무 때문이다. 데이터 관리는 단순히 양과 호환성의 문제가 아니다.

재무정보는 인사기록과 달리 분류해야 한다. 웹 콘텐츠는 콜센터의 기록이나 무선 통신과 다르다. 새로 창출된 데이터를 일일이 저장하면서 네트워크 정체 가능성이 나타나고 있다. 그렇다면 어떻게 대처할 것인가. 매토스는 DB2 인포메이션 인티그레이터(DB2 Information Integrator)라는 소프트웨어를 개발했다. 각기 다른 DB에서 데이터 구조를 속히 파악해 전체 시스템 지도도 작성하고, 어떤 정보가 어디로 가야 할지 파악하는 소프트웨어다.

고객 서비스 기록, 사진, e메일, 웹 페이지를 일관성 있게 통합하기도 한다. 매토스는 “데이터의 이질성이 사라지는 것은 아니지만 모든 데이터를 한눈에 볼 수 있도록 만들어준다”고 설명했다. 애널리스트들은 이를 ‘가상 DB’라고 부른다. 데이터를 전혀 이동시키지 않은 채 질문하고 분석할 수 있기 때문이다. 따라서 기존 데이터 구조에 의존하는 소프트웨어를 폐기할 필요가 없다.

중국의 타이캉생명보험(泰康人壽保險公司)은 최근 매토스와 손잡았다. 2000년부터 구축해 온 수백 개의 새로운 DB를 정리하기 위해서다. 과거 상세한 고객 정보와 프로필 생성에 30개 사무실의 200개 데이터 소스 검토 작업이 필요했다. 그 과정에서 팀원 10명이 최장 1주 동안 작업해야 방대한 보고서 한 건을 작성할 수 있었다. 하지만 지금 필요한 정보를 사무실 데스크톱 컴퓨터나 영업사원의 휴대전화로 전송하는 데는 몇 초밖에 안 걸린다.
매토스가 데이터 문제에 처음 접근한 것은 20년 전의 일이다. 당시 그는 대규모 데이터의 실시간 분석에 대한 박사논문을 준비하고 있었다. 1992년 IBM에 발을 들여놓은 그는 5년 뒤 자신의 이론을 ‘마늘(Garlic)’이라는 별명이 붙은 정보처리 상호 운용 프로젝트에 적용했다. 매토스는 “80년대 각기 다른 장소에서 대규모 데이터를 관리하는 일이야말로 매우 힘든 조사작업이었다”고 회상했다. 기업들이 신속히 웹으로 이동하면서 데이터 관리가 힘들어졌다는 것이다.

DB2의 첫 버전이 선보인 것은 지난해다. SQL 같은 표준 인터넷 프로그래밍 언어에 기반한 DB2는 DB마다 어떤 질문을 던져야 할지 잘 안다. 일례로 ‘식기 세척제는 구입하되 빨랫비누를 사지 않는 고객이 어디 있는가’라는 질문도 시스템에 혼란을 주지 않는다. DB2는 고객 이름과 같은 한 소스의 데이터를 고객 거래 등 다른 소스와 어떻게 연결해야 할지 스스로 알아낸다.

이어 정보 포맷이 바뀌면 가운데 이름 같은 표현상의 차이가 조정된다.

캘리포니아주 어바인에 있는 일본의 오토바이 제조업체 가와사키(川崎重工) 북미지사는 일찌감치 DB2를 도입했다. 가와사키는 부품 유통망을 위해 DB2로 생산 일정과 판매 전망도 산출한다. 가와사키는 오랫동안 팩스 ·전화 ·페덱스(FedEx) 등으로 수천 명의 딜러와 정보를 주고 받았다.

DB 100개를 통합 ·가동하는데 적어도 24시간이 걸렸다. 하지만 지금은 DB2가 밤마다 DB를 헤집고 다니며 일본에서 올린 제품정보, 네브래스카주 소재 제조업체에서 업데이트한 정보, 4개 유통센터의 재고, 딜러와 주고받은 도매 거래, 지역별 재고 및 소매 현황까지 파악한다. 가와사키의 정보시스템 책임자 빅터 마르티네스(Victor Martinez)는 예측과 문제해결이 동시에 진행될 수도 있다고 귀띔했다.

매토스식 접근법의 대안은 이전 DB를 폐기하고 통합 DB로 구축하는 것이다. IBM 내부에도 통합 방식을 지지하는 직원이 많다. 오라클(Oracle)은 방대한 DB의 원조다. 오라클의 CEO 래리 엘리슨(Larry Ellison)은 DB 통합 필요성에 경고했다. 그는 최근 업계 회의에서 “데이터를 한 곳으로 통합하면 무엇이 잘못됐는지, 잘못된 데이터가 어디 있는지 발견할 수 있다”고 주장했다.

증거로 90년대 후반 단행한 자체 DB 통합을 지적했다. 그 결과 연간 운영비를 10억 달러나 절감하는 데 큰 도움이 됐다는 것이다. 오라클의 방식을 쉽게 모방할 수 있는 것은 아니다. DB 제조업체 사이베이스(Sybase)의 CEO 존 첸(John Chen ·程守宗)은 “이제 누구도 엘리슨을 믿지 않는다”며 “오늘날 데이터 관리를 중앙집중식으로 구상할 경우 기업은 망할 것”이라고 반박했다.

한때 대형 DB에 의존했던 사이베이스는 기업과 동시에 연결할 수 있는 소규모 분산형 무선 DB로 전환해 왔다. 첸은 “정보가 아니라 지능이 관건”이라며 “지능은 여러 소스에서 나온다”고 지적했다. 문제는 대형 소프트웨어 제조업체들이 모두 만족할 수 있어야 한다는 점이다. 세계 최대 비상장 소프트웨어 제조업체 SAS 인스티튜트(SAS Institute)는 여러 대형 DB에서 작업할 수 있는 분석형 응용프로그램을 판매하고 있다. SAS는 최근 소규모 DB 시장에도 진출했다. BEA 시스템스(BEA Systems)는 DB2와 유사한 리퀴드 데이터(Liquid Data)를 선보였다. SQL 서버 DB 소프트웨어와 데이터 변환 제품을 보유하고 있는 마이크로소프트(MS)는 시장에 언제든 진출할 수 있다.

많은 중소업체도 데이터 폭증현상을 활용하고 있다. 메타매트릭스(Metamatrix)와 X어웨어(XAware)는 DB2 유형의 소프트웨어를 제작하는 업체들이다. 아우터베이(OuterBay)는 네트워크의 효율적 운영을 도와준다. 정보의 상관성이 낮아지면 데이터를 새 응용프로그램에서 저렴한 스토리지로 옮겨놓는 방식이다. 애드마크(Addmark)는 규제에 초점을 맞췄다. 데이터의 생성 ·접근 시간이 담긴 로그를 작성해주는 것이다.

많은 양의 데이터를 기존 방식으로는 검토할 수 없을 것이다. 영국 소재 신생기업 프랙탈 에지(Fractal Edge)는 데스크톱 파일의 이른바 ‘차원분열도형 지도(fractal map)’를 만든다. 색깔로 표시된 이들 원은 최근 바뀐 데이터가 어느 것인지, 바뀐 데이터가 시스템에서 다른 파일과 어떤 연관성을 갖는지 보여준다.

매토스는 모두 만족할 수 있는 여지가 충분하다고 생각한다. 그는 “아무것도 변하지 않을 것”이라며 위성위치확인시스템(GPS), 전파식별(RFID) 태그, 미 국토안보부의 규제로부터 비롯되는 엄청난 데이터 물결을 지적했다. 그는 “변하는 것은 오로지 사람들의 기대 수준”이라고 말했다. 
 

원본 : 정보홍수속에서 생존방법은?