overview

Arificial Intelligence

인공지능 소개

딥러닝 알고리즘이 최근에 주목받게 된 3가지 이유

1. 쉽게 빅데이터를 구할 수 있는 환경 조성

2. GPU를 필두로한 컴퓨팅 파워 발전

3. 새로운 딥러닝 알고리즘 개발

딥러닝 알고리즘은 인공신경망을 깊에 쌓아 올려 데이터의 특징을 단계별로 학습한다

• 저차원 특징(low) 이미지의 픽셀, 선 등을 학습

• 고자원 특징(high) 눈, 코, 입, 얼굴등과 같은 것을 학습

이처럼 데이터의 특징을 단계별로 학습하기 때문에 딥러닝을 표현학습(Representation Learning)이라고 부른다. 딥러닝 연구자들이 고민을 통해서 제안한 알고리즘을 추출했다고 해서 Hand-Crafted Feature(손으로 정제한 특징) 이라고 부르며, 머신러닝 알고리즘은 자동으로 특징을 추출했기 때문에 Learned Feature(학습된 특징)이라고 한다

머신러닝 알고리즘 학습 방법

머신러닝 알고리즘 학습방법을 크게 3가지로 분류할 수 있다 (지도 학습, 비지도 학습, 강화 학습)

1. 지도학습( Supervised Learning) : 정답의 데이터가 존재하는 상황에서 학습하는 알고리즘, 좀 더 엄밀하게 정의 하면, 입력데이터 x와 그에 대한 정답 레비을 y의 쌍(x,y)를 이용해서 학습하는 알고리즘

   • 기계에게 입력 데이터와 원하는 출력데이터를 제공하고 이 훈련 예제로 학습을 시켜 이전에 보지 못한 데이터에 대해 의미 있는 에측을 할 수 있게 하는 것을 목표

   • 딥러닝에서 지도 학습으로 방법론으로 주로 사용되는 구조는 CNN(Convolutional Neural Networks), RNN(Recurrent Neural Networks)이다

2. 비지도 학습(Unsupervised Learning) : 정답 레이블 y 없이 입력데이터 x만을 이용해서 학습하는 알고리즘, 지도 학습의 목적이 어떤 값에 대한 예측을 수행하는 것이라면, 비지도 학습은 데이터의 숨겨진 특징(Hidden Feature)을 찾아내는 것에 목적이 있다

   • 기계에게 입력 데이터만 제공하고, 그 뒤 기계는 스스로 외부의 지도나 추가적인 입력 없이 주어진 입력 데이터에서 의미 있는 구조를 찾아내야 한다

   • 대표적인 비지도 학습의 방법론으로는 주성분 분석(Principal) 이 있고 딥러닝에서는 오토인코더(Autoencoder)가 있다

3. 강화 학습(Reinforcement Learning) : 앞의 알고리즘은 이미 주어진 정적인 상태에서 진행했다면, 강화 학습은 에이전트 (Agent)가 주어진 환경(State)에서 어떤 행동을 취하고 이에 대한 보상(Reward)를 얻으면서 학습을 진행한다. 에이전트는 보상을 최대화 하도록 진행한다

   • 기계가 환경과 상호작용하는 에이전트처럼 행동한다. 기계는 원하는 작동을 헀을 때 보상을 받게 되고, 바람직하지 않은 행동을 할 경우에는 패널티가 주어진다. 기계는 보상을 최대화하는 행동을 학습하려 한다

   • 강화 학습은 동적인 상태에서 데이터를 수집하는 과정까지 학습과정에 포함되어 있는 알고리즘이다

   • Q-Learning이 대표적이며, 딥러닝에서는 Deep-Q-Network (DQN)을 많이 활용

딥러닝/ 머신러닝을 위한 오픈 소스 라이브러리

라이브러리	회사
텐서플로(Tesorflow)	구글
토치(Torch)와 토치의 파이썬 버전 파이토치 (PyTorch)	페이스북
CNTK	마이크로소프트

텐서플로(TF)

: 텐서플로란 구글브레인 팀에서 심층 신경망(deep neural network)을 위해 개발한 강력한 오픈소스 소프트웨어 라이브러리

• 텐서플로의 장점

• 파이선, C++, 자바, R, Go 등의 주요 언어로 작업할 수 있다

• 텐서보드를 이용한 편리한 시각화

• 단일 데스크톱, 대량의 클러스터, 모바일 디바이스까지 지원하는 광범위한 이식성(Portability)

• Keras, TF-Slim 등 다양한 추상화 라이브러리와 혼용해서 사용가능

• 전세계적으로 활발한 커뮤니티

응용분야

1. 컴퓨터 비전 : 인간의 시각화가 관련된 부분을 컴퓨터 알고리즘 이용해서 구현하는 방법

   • 이미지 분류 (image classification), Semantic lamge segementation, 물체 검출 (object detection)

2. 자연어 처리 (natural language precessing) (NLP) : 인간의 언어와 같이 자연어로 표현돈 언어를 컴퓨터가 이해할 수 있는 형태로 만드는 방법

   • 문장 분류 (text classification), 이미지 캡셔닝( image captioning), 기계번역 (machine Translation), 챗봇(chatbot)

3. 음성인식 (Speech Recognition) : 음성 데이터가 표현하는 문장이 무엇인지를 인식하는 문제 (소리를 글자로 바꿔준다고 하여 STT(speech-to-text)

   • 애플의 siri 구글 now, 마이크로소프트 cortana

4. 게임

5. 알파고 (DQN 기법)

6. 생성모델 (Generative Model) : 학습 데이터의 분포를 학습해서 학습한 분포로부터 새로운 데이터를 생성

   • GAN (Generative Adversarial Network)

   • :데이터가 가지고 있는 확률분포를 추정하도록 하고, 인공신경망이 그 분포를 만들어 낼 수 있도록 한다는 점

텐서플로 추상화(Abstraction) 라이브러리

: 텐서플로 라이브러리만으로도 딥러닝 코드를 작성할 수 있지만, 좀 더 손쉽게 딥러닝 알고리즘을 구현할 수 있도록 텐서플로 라이브러리를 한단계 더 추상화한 다양한 하이레벨 라이브러리들이 존재. 이를 이용하면 텐서플로를 이용하는 것보다 좀더 간결한 코드로 딥러닝 알고리즘을 구현할 수 있다

1. 케라스 (Keras) : 딥러닝 모델을 만들고 훈련하고자 기초 구성 요소를 구성하는 유용한 API

   • CNTK, Theano, MXNet 등 다른 딥러닝 라이브러리들도 지원

   • 모델에 인공신경망 층을 추가하는 형태로 간단하게 신명망 모델을 구현

2. TF-Slim : 경량화된 텐서플로 추상화 라이브러리, 텐서플로에서 복사 & 붙여넣기 형태로 작성해야 하는 반복 코드를 간결하게 작성할 수 있고, 이로 인해 발생할 수 있는 에러를 예방 할 수 있다

   • VGGNet, Inception, ResNet 등 대표적인 CNN 구조들의 사전 학습된 파라미터들을 제공하기 떄문에 이를 이용해 손쉽게 파인 튜닝을 수행할 수 있다

3. Sonnet : 알파고로 유명한 딥마인드에서 만든 텐서플로 추상화 라이브러리이다. 가중치 공유를 손쉽게 할 수 있도록 디자인, 가중치를 위한 추가적인 코드 작성 없이도 자동으로 가중치가 공유된 모습