L.O.K

퍼셉트론은 선형적으로 구분 가능한 경우 유용하지만 그렇지 못하면 성능을 발휘하지 못한다. 이런 한계를 극복하고자 MLP(Multilayer Perceptron)가 등장했다. MLP ( Multilayer Perceptron ) 핵심 아이디어 1) 은닉층을 둔다. 2) 시그모이드(Sigmoid) 활성함수를 도입한다. 3) 오류 역전파(Back Propagation) 알고리즘을 사용한다. 1. 다층 퍼셉트론 ( 은닉층 ) 인공지능의 목적은 '특징'을 토대로 결과를 '예측' 및 '분류'하는 것이다. 기계학습은 '특징 추출'을 인간이 담당한다. 인간의 주관이 담긴 특징을 토대로 학습이 이루어지기에 인간의 사고 범위 내에서 학습이 이루어진다. 인공신경망은 특징추출을 직접한다. 스스로 이미지나 영상의 특징을 추출하..

Warren McCulloch와 Walter Pitts는 1943년, 인공지능을 구현하기 위해 실제 인간의 뇌신경망을 구현하려는 시도를 한다. Frank Rosenblattt는 1957년, 최초로 수학적으로 정립된 신경망 모델을 제안하는데, 그것이 퍼셉트론(Perceptron)이다. 퍼셉트론 ( Perceptron ) 인간의 뉴런은 머리 부분에서 신호를 입력받고 처리한 뒤 꼬리 부분으로 출력한다. 이를 수학적으로 풀면 아래와 같다. 다양한 입력값을 받으면 가중치(w)를 곱한 후 모두 더한다(sum). 그리고 계단함수(f)의 변수로 sum을 넣어 f(sum)을 구한다. 계단 함수는 sum이 특정값(Θ)보다 크면 1이고 작으면 -1을 출력하는 함수이다. 내용이 어려우니 예를 통해 알아보자. EX) 개와 고양..

군집화 ( Clustering ) 주어진 데이터의 관계나 유사도만 의존하여 자연적으로 그룹화 하는 것 초기 군집(레이블)의 개수를 정하면 자연스럽게 군집화가 이루어짐 k-means 클러스터링 n개의 관측값을 k개의 클러스터로 분할하는 알고리즘 알고리즘 1. k개의 데이터를 랜덤하게 추출하여 중심(centroid)으로 삼는다. 2. 각 데이터가 k개의 중심 중 어떤 중심과 거리가 가까운지 계산한 후 레이블을 할당한다. 3. 레이블 할당이 완료되면 레이블 별 중심점을 계산하여 추출한다. 4. 2와3을 모든 데이터의 레이블(클러스터)이 바뀌지 않을 때까지 반복한다. k를 결정하는 방법 몇 개의 군집이 적절한지 알기 위해서 '팔꿈치 방법(elbow method)'를 사용한다. k를 1부터 증가시키며 클러스터링을..

분류기(Classifier)? 학습된 함수를 이용하여 데이터를 분류하는 프로그램 Support Vector Machine (SVM) 한 쪽 레이블에 치우치지 않고 여백을 최대로 하는 결정 경계(Decision Boundary)를 찾는 이진 분류기(Binary Classfier) - 서포트 벡터(Support Vector) : 결정경계로 부터 가장 가까이에 있는 학습데이터 kNN 알고리즘(k - Nearest Neibor) 기계학습알고리즘에서 가장 간단하고 이해하기 쉬움 새로 입력된 데이터의 특정 범주 안의 레이블 데이터의 개수에 따라 레이블을 판별 ( k의 값에 따라 레이블이 달라짐 ) 데이터 취득 -> 전처리 -> 특징 추출 -> 분류 및 회귀분석 ( 기계학습 알고리즘 )

[인공지능] 기계학습 (선형회귀) 지도학습이란? 과거의 정보를 가지고 모델을 만들어, 현재 데이터를 기반으로 미래를 예측하는 패턴을 추출하는 학습방법이다. ( 번호판 인식, 날씨 예측, 시장 예측 ) 지도학습에서 모델은 회 lordofkangs.tistory.com 지난 포스팅에서는 선형회귀를 다루어 보았다. 선형회귀는 특징공간(입력값, x)이 하나였다. (1차원) MNIST 인식하는 딥러닝 모델의 경우 784차원의 특징공간을 갖는다. 이처럼 특징공간이 무수히 클 때 손실함수의 최소값을 구하려면 편미분을 해야한다. 경사하강알고리즘 1) 목적 머신러닝의 목적은 ‘손실’을 줄이는 것이다. 손실이란, 실제 결과값과 예측값 사이의 차이를 의미한다. 주어진 데이터를 예측모델(퍼셉트론)에 입력했을 때, 출력된 예측..

지도학습이란? 과거의 정보를 가지고 모델을 만들어, 현재 데이터를 기반으로 미래를 예측하는 패턴을 추출하는 학습방법이다. ( 번호판 인식, 날씨 예측, 시장 예측 ) 지도학습에서 모델은 회귀 모델(Regression)이라 부른다. '회귀'라는 단어는 어려우니, 그냥 단순히 입력값 X와 결과값 Y의 관계를 나타내는 모델이라 이해하면 된다. x와 y 좌표가 주어질 때, 이를 토대로 f(x)를 근사하는 것이 회귀(regresstion)이다. 회귀모델은 2차원 곡선에서 직선 혹은 곡선의 형태를 갖는다. 직선은 일차함수이고 곡선은 2차 이상의 고차함수이다. 선형회귀 선형회귀는 회귀모델이 1차 함수이다. f(x) = mx + b x에 따른 f(x)를 구하려면 기울기(m)과 절편(b)를 알아야 한다. 선형회귀는 m과..

기계학습의 목적 if-else문 같은 조건문으로 설계가 불가능할만큼 경우의 수가 너무 많은 문제에 사용된다. 복잡한 데이터(비정형데이터)를 기반으로 결정을 내려야 하는 분야에 사용된다. 기계학습은 함수를 학습한다. 입력(x)가 들어올 때 어떤 결과(y)가 나올지 예측하는 방법이 기계학습이다. 기계학습의 종류 1) 지도학습(Supervised Learning) : 과거를 학습하여 미래를 예측 입력-출력 데이터 예시가 미리 주어짐. 예시를 기반으로 새로운 입력에 대한 출력을 예측하는 패턴을 추출 ( 번호판 인식, 날씨 예측, 시장 예측 ) 2) 비지도학습(Unsupervised Learning) : 현재를 분류하여 미래를 예측 예시 데이터가 없는 상태에서 데이..

[인공지능] 전문가시스템 지금껏 포스팅했던 '탐색'으로 구현한 인공지능은 절차적 코드를 사용한다. 그러나 지능은 '탐색'으로만 구현되지 않는다. 전문가 시스템은 코드가 아닌 규칙으로 표현된 지식을 이용하여 좀 더 lordofkangs.tistory.com 지난 포스팅에서 '전문가 시스템'을 다루어 보았다. 전문가 시스템은 전문가가 지식베이스에 전문지식을 넣으면 추론 엔진으로 사용자가 원하는 정보를 추론하는 시스템이다. 그러나 과연 전문가가 넣은 지식이 100% 정확한 정보일까? 현실세계의 대부분의 정보는 '불확실'하다. 그러므로 우리는 불확실한 정보를 가지고도 올바른 결정을 내릴 수 있어야 한다. [인공지능] 조건부 확률 이번 포스팅에서는 '베이지 정리'를 이해하기 위한 기본적인 확률 개념을 다루어 볼 ..

이번 포스팅에서는 '베이지 정리'를 이해하기 위한 기본적인 확률 개념을 다루어 볼 것이다. ( 베이지 정리는 다음 포스팅에서 다룰 것이다. ) 확률이론 ( probability theory ) 인공지능 시스템에서 불확실한 정보를 갖고도 올바른 결정을 내리려면 '확률'이 필요하다. 확률이란, 특정 사건이 발생할 비율이다. 확률적 추론에서는 가장 높은 확률이 결론으로 선택된다. 상호배타성 절대 동시에 일어날 수 없는 두 사건 ( p , q ; p + q = 1 ) 독립사건 사건 p가 일어나도 사건 q의 확률에 영향을 주지 않으면 독립사건이다. 조건부 확률 두 사건 ( A, B )이 상호배타적이지 않을 때 ( A 와 B는 동시에 일어날 수 있음 ) 사건 B가 발생했을 때 (조건부), 사건 A가 발생할 확률 결..

[인공지능] 지식표현방법 ( 명제논리, 술어논리 ) 명제논리 참 또는 거짓을 판별 할 수 있는 문장 P : 마트는 월요일부터 토요일까지 영업한다. ( 지식 ) Q : 오늘은 월요일이다. ( 사실 ) R : 마트는 오늘 영업한다. ( 추론된 사실 ) 새로운 '사실'을 lordofkangs.tistory.com 명제는 참 또는 거짓으로 표현하지만 실제 세계는 그렇지 않다. 인간은 모호한(fuzzy) 표현을 자주 사용한다. 퍼지 논리란, 모호한 표현을 명확하게 표현하는 방법이다. 명제 논리 - 키가 크다. ( 1 ) - 키가 작다. ( 0 ) 퍼지 논리 - 키가 매우 큼 ( 1.0 ) - 키가 큼 ( 0.8 ) - 키가 약간 큼 ( 0.6 ) - 키가 작음 ( 0.0 ) 퍼지 논리는 '참'과 '거짓'이 아닌 ..