빅데이터로 변화하는 도시의 현재와 미래

오리 울프슨(시카고 일리노이 대학교 컴퓨터 과학 Richard & Loan Hill 교수)

어반 컴퓨팅은 현재 대도시가 직면한 주요 문제(대기 오염, 에너지 소비, 교통 혼잡)들을 해결하기 위해 도시에서 생성되는 다양한 종류의 데이터를 수집, 통합, 분석하는 프로세스다. 이 책에서는 어반 컴퓨팅 프레임워크를 활용해서 도시와 삶의 특성을 이해하고, 더 나아가 미래의 삶을 예측해볼 것이다. 또한 궁극적으로 사람과 환경, 도시 운영 시스템 간의 상생, 즉 3 윈(win-win-win)을 추구한다. 이 책에서 설명하는 어반 컴퓨팅 범용 프레임워크를 통해 어반 컴퓨팅의 개요와 총론에 가까워질 수 있을 것이다.

PART 1 개념 및 프레임워크

1장. 개요
1.1 소개
1.2 어반 컴퓨팅의 정의
13 범용 프레임워크
1.3.1 개요 및 예시
1.3.2 각 계층의 기능
1.4 어반 컴퓨팅의 주요 과제
1.4.1 어반 센싱 문제
1.4.2 어반 데이터 관리 문제
1.4.3 어반 데이터 분석 문제
1.4.4 어반 서비스 문제
1.5 어반 데이터
1.5.1 어반 데이터 분류
1.5.2 지리 데이터
1.5.3 도로망의 교통 데이터
1.5.4 휴대전화 데이터
1.5.5 이동 데이터
1.5.6 환경 모니터링 데이터
1.5.7 소셜 네트워크 데이터
1.5.8 에너지
1.5.9 경제
1.5.10 헬스케어
1.6 공개 데이터셋

2장. 어반 컴퓨팅 애플리케이션
2.1 소개
2.2 도시 계획을 위한 어반 컴퓨팅
2.2.1 교통 네트워크의 근본적인 문제점
2.2.2 지역의 역할
2.2.3 도시 경계 탐지
2.2.4 시설과 자원 배치
2.3 교통 시스템을 위한 어반 컴퓨팅
2.3.1 운전 경험 개선
2.3.2 택시 서비스 개선
2.3.3 버스 서비스 개선
2.3.4 지하철 서비스
2.3.5 자전거 공유 시스템
2.4 환경을 위한 어반 컴퓨팅
2.4.1 대기질
2.4.2 소음 공해
2.4.3 도시 용수
2.5 도시 에너지 소비를 위한 어반 컴퓨팅
2.5.1 유류 소비량
2.5.2 전기 소비량
2.6 소셜 애플리케이션을 위한 어반 컴퓨팅
2.6.1 위치 기반 소셜 네트워크 개념
2.6.2 위치 기반 소셜 네트워크 사용자 연구
2.6.3 지역 추천
2.7 경제 분야 어반 컴퓨팅
2.7.1 비즈니스를 위한 위치 선택
2.7.2 도시 물류 최적화
2.8 치안 및 보안을 위한 어반 컴퓨팅
2.8.1 도시 이상 탐지
2.8.2 군중 흐름 예측
2.9 요약

PART 2 어반 센싱 및 데이터 취득

3장. 어반 센싱
3.1 소개
3.1.1 어반 센싱의 4가지 패러다임
3.1.2 어반 센싱의 범용 프레임워크
3.2 센서 및 시설 배치
3.2.1 최적의 미팅 포인트 찾기
3.2.2 커버리지 최대화
3.2.3 후보군 순위 학습
3.2.4 불확실성 최소화
3.3 사람 중심 어반 센싱
3.3.1 데이터 평가
3.3.2 참여자 모집 및 작업 설계
3.4 누락값 보충
3.4.1 문제 및 과제
3.4.2 공간 모델
3.4.3 시간 모델
3.4.4 시공간 모델
3.5 요약

PART 3 어반 데이터 관리

4장. 시공간 데이터 관리
4.1 소개
4.1.1 데이터 구조
4.1.2 쿼리
4.1.3 인덱스
4.1.4 검색 알고리즘
4.2 데이터 구조
4.2.1 포인트 기반 공간 정적 데이터
4.2.2 포인트 기반 공간 시계열 데이터
4.2.3 포인트 기반 시공간 데이터
4.2.4 네트워크 기반 공간 정적 데이터
4.2.5 네트워크 기반 공간 시계열 데이터
4.2.6 네트워크 기반 시공간 데이터
4.3 공간 데이터 관리
4.3.1 그리드 기반 공간 인덱스
4.3.2 쿼드트리 기반 공간 인덱스
4.3.3 K-D 트리 기반 공간 인덱스
4.3.4 R-트리 기반 공간 인덱스
4.4 시공간 데이터 관리
4.4.1 공간 정적 및 시간 동적 데이터 관리
4.4.2 동적 객체 데이터베이스
4.4.3 이동 경로 데이터 관리
4.5 여러 가지 데이터셋을 관리하기 위한 하이브리드 인덱스
4.5.1 쿼리 및 동기
4.5.2 공간 키워드
4.5.3 여러 데이터셋을 관리하기 위한 인덱스
4.6 요약

5장. 클라우드 컴퓨팅 소개
5.1 소개
5.2 스토리지
5.2.1 SQL 데이터베이스
5.2.2 애저 스토리지
5.2.3 레디스 캐시
5.3 컴퓨팅
5.3.1 가상머신
5.3.2 클라우드 서비스
5.3.3 HDInsight
5.4 애플리케이션
5.4.1 웹 앱
5.4.2 모바일 앱
5.4.3 API 앱
5.5 요약

6장. 클라우드에서 시공간 데이터 관리
6.1 소개
6.1.1 문제점
6.1.2 클라우드의 범용 데이터 관리 스키마
6.2 포인트 기반 데이터 관리
6.2.1 포인트 기반 시공간 정적 데이터 관리
6.2.2 포인트 기반 공간 정적 및 시간 동적 데이터 관리
6.2.3 포인트 기반 시공간 동적 데이터 관리
6.3 네트워크 기반 데이터 관리
6.3.1 시공간 정적 네트워크 관리
6.3.2 네트워크 기반 공간 정적 및 시간 동적 데이터 관리
6.3.3 네트워크 기반 시공간 동적 데이터 관리
6.4 어반 빅데이터 플랫폼
6.5 요약

PART 4 어반 데이터 분석

7장. 어반 데이터를 위한 기본적인 데이터 마이닝 기술
7.1 소개
7.1.1 데이터 마이닝의 범용 프레임워크
7.1.2 데이터 마이닝 및 관련 기술 간의 관계
7.2 데이터 전처리
7.2.1 데이터 정제
7.2.2 데이터 변환
7.2.3 데이터 통합
7.3 빈번한 패턴 마이닝 및 관련 규칙
7.3.1 기본 개념
7.3.2 빈번한 항목 집합 마이닝 기법
7.3.3 순차 패턴 마이닝
7.3.4 빈번한 하위 그래프 패턴 마이닝
7.4 클러스터링
7.4.1 개념
7.4.2 파티셔닝 클러스터링 기법
7.4.3 밀도 기반 클러스터링
7.4.4 계층적 클러스터링 기법
7.5 분류
7.5.1 개념
7.5.2 나이브 베이지안 분류
7.5.3 의사결정 트리
7.5.4 서포트 벡터 머신
7.5.5 불균형한 데이터 분류
7.6 회귀
7.6.1 선형 회귀
7.6.2 자동 회귀
7.6.3 회귀 트리
7.7 이상치 및 이상 탐지
7.7.1 근접 기반 이상치 탐지
7.7.2 통계 기반 이상치 탐지
7.8 요약

8장. 시공간 데이터를 위한 고급 머신러닝 기술
8.1 소개
8.2 시공간 데이터의 고유 특성
8.2.1 시공간 데이터의 공간 속성
8.2.2 시간 속성
8.3 협업 필터링
8.3.1 기본 모델: 사용자 기반 및 아이템 기반
8.3.2 시공간 데이터를 위한 협업 필터링
8.4 행렬 분해
8.4.1 기본적인 행렬 분해 방법
8.4.2 시공간 데이터에 대한 행렬 분해
8.5 텐서 분해
8.5.1 텐서의 기본 개념
8.5.2 텐서 분해 기법
8.5.3 시공간 데이터의 텐서 분해
8.6 확률적 그래픽 모델
8.6.1 일반 개념
8.6.2 베이지안 네트워크
8.6.3 마르코프 랜덤 필드
8.6.4 시공간 데이터의 베이지안 네트워크
8.6.5 시공간 데이터를 위한 마르코프 네트워크
8.7 딥러닝
8.7.1 인공 신경망
8.7.2 합성곱 신경망
8.7.3 순환 신경망
8.7.4 시공간 데이터를 위한 딥러닝
8.8 강화학습
8.8.1 강화학습 개념
8.8.2 테이블 형식의 행동-값 기법
8.9 요약

9장. 크로스 도메인 지식 융합
9.1 소개
9.1.1 기존 데이터 통합과의 관계
9.1.2 이기종 정보 네트워크와의 관계
9.2 스테이지-기반 지식 융합
9.3 특징 기반 지식 융합
9.3.1 정규화를 통한 특징 연결
9.3.2 딥러닝 기반 지식 융합
9.4 시맨틱 의미 기반 지식 융합
9.4.1 멀티-뷰 기반 지식 융합
9.4.2 유사성 기반 지식 융합
9.4.3 확률적 의존성-기반 지식 융합
9.4.4 학습 기반 지식 융합 전이
9.5 다양한 융합 기법 비교
9.5.1 데이터 집합의 볼륨, 속성 및 통찰력
9.5.2 머신러닝 작업의 목표
9.5.3 머신러닝 알고리즘 학습
9.5.4 효율성 및 확장성
9.6 요약

10장. 어반 데이터 분석의 고급 주제
10.1 적절한 데이터 집합을 선택하는 방법
10.1.2 데이터와 관련된 인사이트
10.1.3 추론 검증
10.2 이동 경로 데이터 마이닝
10.2.1 경로 데이터
10.2.2 이동 경로 전처리
10.2.3 이동 경로 데이터 관리
10.2.4 이동 경로의 불확실성
10.2.5 경로 패턴 마이닝
10.2.6 이동 경로 분류
10.2.7 이동 경로의 이상 탐지
10.2.8 다른 표현으로 이동 경로 전환
10.3 데이터 관리와 머신러닝 결합
10.3.1 필요성
10.3.2 인덱싱 구조를 통한 머신러닝 개선
10.3.3 머신러닝의 후보 규모 축소
10.3.4 머신러닝에 사용되는 컴퓨팅 공간을 축소 시키기 위한 경계 확보
10.4 인터랙티브 시각 데이터 분석
10.4.1 여러 복잡한 요소 통합
10.4.2 사전 지식 없이 파라미터 조정
10.4.3 결과 상세 분석
10.5 요약

★ 이 책의 대상 독자 ★고학년 학부생, 대학원생, 연구원, 전문가를 대상으로 하며 해당 분야를 구성하는 주요 기본 사항과 고급 주제를 다룬다. 연구원과 애플리케이션 개발자에게는 도시 감지, 도시 데이터 관리, 도시 데이터 분석, 제공된 서비스의 일반적인 개념과 기술, 애플리케이션에 대한 포괄적인 개요를 소개한다. 흥미로운 분야를 탐색해 더 친환경적이고 스마트한 도시를 만들 수 있는 새로운 방법을 배우고 애플리케이션을 개발할 수 있도록 도와준다. 또한 학생뿐만 아니라, 관심 있는 독자에게 각광 받는 연구 분야의 최근 발전에 대한 총론을 소개한다.★ 이 책의 구성 ★어반 컴퓨팅의 프레임워크를 기반으로 설명하며 크게 개념 및 프레임워크, 어반 센싱, 데이터 수집, 도시 데이터 관리, 도시 데이터 분석으로 구성된다.1부인 1장과 2장에서 어반 컴퓨팅의 개요를 다룬다.
1장, ‘개요’에서는 어반 컴퓨팅의 핵심 개념과 프레임워크를 소개하고, 컴퓨터 과학의 관점으로 프레임워크 각 계층의 주요 과제를 논한다. 도시의 데이터를 수집해 데이터 구조와 시공간 속성과 관련된 6가지 범주로 분류한다. 일부 공개 도시 데이터 집합도 다룬다.
2장, ‘어반 컴퓨팅 애플리케이션’에서는 교통, 도시 계획, 환경 보호, 에너지, 경제, 공공 보안과 사회 및 엔터테인먼트로 구성된 다양한 영역에서 어반 컴퓨팅의 일반적인 애플리케이션을 다룬다. 이러한 애플리케이션은 해당 분야에 시야를 넓혀 주고 새로운 연구 주제를 제안하며 신규 아이디어를 만든다.2부에 해당하는 3장에서는 데이터의 출처와 수집을 다룬다.
3장, ‘어반 센싱’에서는 정적 센싱(static sensing), 모바일 센싱(mobile sensing), 수동 크라우드 센싱(passive crowd sensing), 능동 크라우드 센싱(active crowd sensing)으로 구성된 4가지 어반 센싱 패러다임(paradigms of urban sensing)을 소개한다. 처음 2개의 패러다임은 센서-기반 센싱(sensor-centric sensing) 범주에 속하며, 나머지는 사용자-기반 센싱(human-centric sensing)과 관련 있다. 센서-기반 센싱 패러다임에 대해서는 4가지의 센서 배치 모델을 다룬다. 사용자-기반 센싱 패러다임은 참가자 모집 및 작업 설계 기술을 다룬다.
마지막으로 지오 센싱된 데이터의 결측값을 채우고자 공간 모델, 시간 모델 그리고 시공간 모델로 구성된 3가지 범주의 모델을 제시한다.3부는 4장, 5장, 6장으로, 공간 및 시공간 데이터 관리를 다룬다. 기본 인덱싱 및 검색 알고리즘에서 시작하고 클라우드 컴퓨팅 플랫폼을 사용해 공간 및 시공간 데이터를 관리하는 기술을 논의한다.
4장, ‘시공간 데이터 관리’에서는 먼저 그리드(grid)-기반 인덱스, 쿼드트리(quadtree)-기반 인덱스, K-d 트리, R-트리로 구성된 인덱싱 구조를 다룬다. 해당 인덱싱 구조는 인덱싱 생성, 시공간 범위 쿼리 제공, 최근접 이웃 쿼리 제공, 인덱스 업데이트로 구성된 시공간 데이터를 사용한다. 그다음 이동하는 객체(moving-object) 데이터베이스 및 이동 경로 데이터 관리로 구성된 시공간 데이터 관리 기법을 다룬다. 이동하는 객체는 특정 시간대(일반적으로 최근)의 특정 지역을 이동하는 객체와 관련된다. 이동 경로 데이터는 이동하는 객체가 특정 시간대에서 통과한 연속적인 이동(예: 경로)에 관한 것이다. 이동하는 객체 데이터베이스와 관련해서 3가지 유형의 쿼리와 2가지의 인덱싱 접근법을 소개한다. 첫 번째 인덱싱 접근법은 각 타임스탬프에 공간 인덱스를 생성하고 연속적인 시간대 동안 인덱스의 변경되지 않은 하부 구조를 재사용한다. 다른 인덱싱 접근법은 공간 인덱싱 구조를 2차원 공간 데이터 관리에서 3차원 시공간 데이터로 확장해 시간을 3차원으로 취급한다. 이동 경로 데이터 관리와 관련해 이동 경로 데이터에 대해 설계된 다른 거리 메트릭(metric)뿐만 아니라 범위 쿼리(range queries), k-최근접 이웃 쿼리(k-nearest neighbor queries) 및 경로 쿼리(path queries)로 구성된 3가지 유형의 쿼리가 제공된다. 마지막으로 다양한 데이터 집합을 처리하는 데 필요한 하이브리드 인덱싱 구조를 다룬다.
5장, ‘클라우드 컴퓨팅 소개’에서는 스토리지, 컴퓨팅, 애플리케이션 인터페이스 관점에서 클라우드 컴퓨팅 플랫폼의 주요 요소를 다룬다. 각 구성 요소의 프레임워크와 이를 사용하기 위한 일반적인 절차는 마이크로소프트 애저를 대표적인 플랫폼으로 사용해 설명한다. 애저의 스토리지는 추가로 SQL Server, Azure Storage, Redis로 구성된다. 애저 컴퓨팅 리소스는 Virtual Machine, Cloud Services, HDInsight로 구성된다. HDInsight는 하둡, 스파크, 스톰을 포함하는 대규모 데이터 전처리, 데이터 관리 그리고 마이닝을 수행하는 애저의 분산 컴퓨팅 컴포넌트다. 애저의 애플리케이션 인터페이스는 Web Apps, Mobiles Apps, API Apps로 구성된다. 해당 컴포넌트를 통해 어반 컴퓨팅 애플리케이션을 원활하고 안정적으로 구현할 수 있다.
6장, ‘클라우드에서 시공간 데이터 관리’에서는 시공간 데이터의 6가지 유형에 맞게 각각 설계돼 현재 사용 중인 클라우드 컴퓨팅 플랫폼을 효과적으로 활용해 대규모의 동적 시공간 데이터를 관리할 수 있는 데이터 관리 체계를 소개한다. 각 데이터 유형은 공간적 또는 시공간적 인덱스의 사용 여부, 분산형 시스템 활용 여부에 따라 4가지 종류의 데이터 관리 체계를 나타낸다. 가장 진보된 데이터 관리 체계(4가지 체계 중)는 공간 및 시공간 인덱스(예: 그리드 기반 인덱스, R-트리 및 3D R-트리)를 HDInsight의 스파크 및 스톰과 같은 분산 컴퓨팅 시스템에 통합한다. 해당 체계는 양쪽의 장점을 결합해 더 적은 컴퓨팅 자원을 사용하는 동시에 더 큰 규모의 시공간 데이터를 더 효율적으로 처리할 수 있게 해준다.7장, 8장, 9장, 10장으로 구성된 4부는 도시 빅데이터의 마이닝 지식에 대한 기본 기술과 고급 주제를 소개한다. 기초적인 데이터 마이닝 알고리즘에서부터 시공간 데이터를 위해 설계된 고급 머신러닝 기법과 크로스 도메인 지식 융합 방법을 적용한다. 관련 데이터 집합 선택(selecting relevant datasets), 경로 데이터 마이닝(trajectory data mining), 데이터베이스 기술과 머신러닝 모델의 결합(combining database techniques with machine-learning models), 인터랙티브 시각 데이터 분석과 같은 일부 고급 주제도 어반 컴퓨팅에 활용된다.
7장, ‘어반 데이터를 위한 기본적인 데이터 마이닝 기술’에서는 데이터 전처리 및 데이터 분석으로 구성된 데이터 마이닝의 범용 프레임워크를 소개한다. 데이터 전처리는 데이터 정제, 데이터 전환, 데이터 통합으로 추가 구성된다. 데이터 분석은 다양한 데이터 마이닝 모델, 결과 표현 및 평가로 추가 구성된다. 모델의 동작 방식을 기반으로 데이터 마이닝 모델은 빈번한 패턴 마이닝(frequent pattern mining), 클러스터링, 분류, 회귀 분석, 이상치 탐지의 5가지 주요 범주로 나눌 수 있다. 각 모델 범주와 관련해서 공간 및 시공간 데이터에서 지식을 마이닝하는 맥락 안에서 모델의 일반적인 개념과 구체적인 예시를 보여준다.
8장, ‘시공간 데이터를 위한 고급 머신러닝 기술’에서는 이미지 및 텍스트 데이터와 비교해 시공간 데이터의 고유한 속성을 먼저 설명한다. 공간 속성은 공간 거리(spatial distance)와 공간 계층(spatial hierarchy)으로 이뤄진다. 시간적 특성은 시간적 근접성(temporal closeness), 기간 및 추세(trend)로 구성된다. 이러한 고유 속성은 시공간 데이터를 위해 특별히 설계된 고급 머신러닝 알고리즘이 필요하다. 그다음 시공간 데이터의 맥락에서 협업 필터링(collaborative filtering), 행렬 분해(matrix factorization), 텐서 분해, 확률론적 그래픽 모델(probabilistic graphical models), 딥러닝, 강화학습으로 구성된 6가지 범주의 머신러닝 알고리즘 원리를 소개한다. 머신러닝 알고리즘이 어떻게 시공간 데이터를 처리하도록 조정돼야 하는지를 보여주는 다양한 예시를 제공한다. 예를 들어, 결합 행렬 분해(coupled matrix factorization)는 위치 추천(location recommendations)과 교통 상황 추정(traffic condition estimations)에 활용된다. 베이지안 네트워크는 교통량 추정, 맵 매칭 수행, 지역의 잠재 기능(latent function)을 발견하기 위해 각각 사용된다. 일부 마르코프 랜덤 필드(Markov random fields)는 사용자의 이동 방법(transportation modes) 및 지역의 대기질을 예측하기 위해 설계된다. 도시 전체의 모든 지역에서 군중의 흐름을 예측하려고 설계된 특정 딥러닝 모델 또한 사용된다.
기존의 데이터 마이닝은 일반적으로 단일 도메인의 데이터를 처리했다. 빅데이터 분야에서는 서로 다른 도메인의 다양한 소스에서 여러 데이터 집합을 사용한다. 데이터 집합은 다양한 양식으로 구성되며, 각 양식은 서로 다른 표현, 분포, 스케일 및 밀도를 갖는다. 여러 데이터 집합의 결합을 통해 결측값 보완(missing values), 미래 예측(predicting the future), 인과 관계 추론(inferring causality), 객체 프로파일링(profiling objects), 순위 지정(ranking) 및 이상 탐지(detecting anomalies)를 수행한다. 빅데이터 연구에서 기존의 데이터 마이닝 작업과 빅데이터를 구분하는 핵심적인 요소는 다양한 (그러나 잠재적으로 연결된) 데이터 집합에서 인사이트를 얻는 것이 가장 중요하다. 이러한 작업은 다양한 데이터 집합의 지식을 머신러닝 및 데이터 마이닝 작업 유기적으로 융합할 수 있는 고급 기법이 필요하다.
9장, ‘크로스 도메인 지식 융합’에서는 스테이지 기반, 특징 레벨 기반(feature level-based), 시맨틱 의미 기반(semantic meaning-based) 기법으로 구성된 지식 융합 방법의 3가지 범주를 소개한다. 융합 기법의 마지막 범주는 추가로 멀티-뷰 학습 기반, 유사성 기반, 확률적 의존성(probabilistic dependency) 기반 및 전이학습 기반 방법의 4가지 그룹으로 나뉜다. 이러한 방법들은 스키마 매핑과 데이터 통합보다는 지식 융합에 초점을 맞추며, 데이터베이스 커뮤니티에서 연구된 기존 데이터 융합 방식과 매우 다르다. 여기에서는 각 범주의 고수준 기법뿐만 아니라 실제 빅데이터 문제를 해결하는 데 사용되는 중요 예시를 소개한다.
또한 10장, ‘어반 데이터 분석의 고급 주제’에서는 프레임워크에 기존 작업을 포함해 다양한 지식 융합 기법 사이의 관계와 차이점을 살펴본다. 우선 어반 컴퓨팅 문제를 고려할 때 일반적으로 주어진 문제를 해결하고자 어떤 데이터 집합을 선택할 것인지 결정해야 한다. 적절한 데이터 집합을 선택하면 효율적이고 효과적으로 문제를 해결할 수 있다. 두 번째, 이동 경로 데이터는 복잡한 데이터 모델을 가지며 이동하는 객체에 대한 자세한 정보를 포함한다. 해당 객체는 특정 데이터 마이닝 기법을 사용해야 한다. 세 번째, 대규모 데이터 집합에서 지식을 추출하려면 효율적인 데이터 관리 기술과 효과적인 머신러닝 모델이 모두 필요하다. 어반 컴퓨팅 과제를 완성하기 위해서는 해당 기술의 유기적 통합이 필수적이다. 결과적으로 어반 컴퓨팅 문제를 해결하는 데 데이터 과학과 도메인 지식이 모두 필요하다. 인간 지능을 어떻게 기계 지능에 접목시킬 것인가 하는 것은 토론할 가치가 있는 중요한 주제다. 인터랙티브 시각 데이터 분석을 통해 해당 주제를 다룰 것이다.
이 책이 새롭게 발전하고 있는 어반 컴퓨팅 분야의 유용한 개요와 실용적인 자습서가 되기를 바란다.