이 페이지에는 결정 포레스트 용어집 용어가 포함되어 있습니다. 모든 용어집 용어에 대해 여기를 클릭하세요.
A
속성 샘플링
결정 포레스트를 학습시키기 위한 전략 결정 트리는 가능한 데이터의 무작위 하위 집합만 고려합니다. 특성을 사용하여 상태를 학습할 수 있습니다. 일반적으로 특성의 다른 하위 집합이 각 노드입니다. 반면에 의사 결정 트리를 학습시킬 때 속성을 샘플링하지 않으면 각 노드에 대해 가능한 모든 특성이 고려됩니다.
축 정렬 조건
결정 트리에서 조건은 한 가지 기능만 포함합니다. 예를 들어 이 특성인 경우 다음은 축 정렬 조건입니다.
area > 200
경사 조건과 대비되는 개념입니다.
B
자지 빼기
앙상블 학습 메서드앙상블 학습의 무작위 하위 집합으로 구성요소 모델이 학습 대체를 통해 샘플링된 예 예를 들어 랜덤 포레스트는 배깅으로 학습된 결정 트리
배깅이라는 용어는 부스트랩 집계의 줄임말입니다.
바이너리 조건
결정 트리에서 조건은 일반적으로 예 또는 아니요의 두 가지 결과만 나타납니다. 예를 들어 다음은 바이너리 조건입니다.
temperature >= 100
비바이너리 조건과 대비되는 개념입니다.
C
조건
의사 결정 트리에서 표현식을 평가합니다. 예를 들어 결정 트리에는 두 가지 조건이 포함됩니다.
조건은 분할 또는 테스트라고도 합니다.
조건을 leaf와 대조합니다.
관련 주제에 대한 추가 정보
D
결정 포레스트
여러 결정 트리에서 생성된 모델 결정 포레스트는 특정 가계의 예측을 집계하여 결정 트리를 살펴보겠습니다 인기 있는 결정 포레스트 유형은 다음과 같습니다. 랜덤 포레스트 및 경사 강화 트리입니다.
결정 트리
일련의 집합으로 구성된 지도 학습 모델 조건과 리프는 계층적으로 구성됩니다. 예를 들어 다음은 결정 트리입니다.
E
엔트로피
포함 <ph type="x-smartling-placeholder"></ph> 정보 이론, 예측 불가능한 확률에 대한 설명 있습니다. 또한 엔트로피는 양으로부터 각 예에 포함된 정보 배포에 확률 변수의 모든 값이 가능성이 같습니다
가능한 두 값 '0'을 갖는 집합의 엔트로피 및 '1' (예: 이진 분류 문제의 라벨) 다음 공식을 가집니다.
<ph type="x-smartling-placeholder"></ph> H = -p 로그 p - q 로그 q = -p 로그 p - (1-p) * 로그 (1-p) 를 통해 개인정보처리방침을 정의할 수 있습니다.
각 항목의 의미는 다음과 같습니다.
- H는 엔트로피입니다.
- p는 '1'의 분수입니다. 예로 들 수 있습니다
- q는 '0'의 분수입니다. 예로 들 수 있습니다 q = (1 - p)인 것을 볼 수 있습니다.
- log는 일반적으로 log2입니다. 이 경우 엔트로피는 있습니다.
예를 들어 다음을 가정합니다.
- 100개의 예가 '1' 값을 포함함
- 300개의 예가 '0' 값을 포함함
따라서 엔트로피 값은 다음과 같습니다.
- p = 0.25
- q = 0.75
- H = (-0.25)log2(0.25) - (0.75)로그2(0.75) = 예당 0.81비트
완벽하게 균형을 이룬 세트 (예: '0' 200개 및 '1' 200개) 예당 1.0비트의 엔트로피가 있을 것입니다. 세트가 점점 더 불균형이면 엔트로피가 0.0을 향해 이동합니다.
결정 트리에서 엔트로피는 정보 획득을 통해 splitter - conditions 선택 매우 짧은 시간 안에 말이죠.
엔트로피를 다음과 비교:
엔트로피를 종종 섀넌의 엔트로피라고 합니다.
F
특성 중요도
변수 중요도의 동의어입니다.
G
지니 불순물
엔트로피와 유사한 측정항목입니다. 스플리터 지니 불순물 또는 엔트로피에서 파생된 값을 사용하여 분류를 위한 조건 결정 트리. 정보 획득은 엔트로피에서 파생됩니다. 파생된 측정항목에 일반적으로 인정되는 동등한 용어가 없습니다. 지니 불순물로부터 이름이 지정되지 않은 이 측정항목은 얻을 수 있습니다.
지니 불순물은 지니 지수 또는 간단히 지니라고도 합니다.
경사 부스티드 (결정) 트리 (GBT)
다음과 같은 결정 포레스트의 한 유형입니다.
경사 부스팅
약한 모델이 반복적으로 학습되도록 하는 학습 알고리즘 강력한 모델의 품질 개선 (손실 감소) 예를 들어 약한 모델은 선형 또는 작은 결정 트리 모델일 수 있습니다. 강력한 모델은 이전에 학습된 모든 약한 모델의 합계가 됩니다.
가장 단순한 형태의 경사 부스팅에서는 각 반복에서 약한 모델을 사용합니다. 강력한 모델의 손실 경사를 예측하도록 학습되었습니다. 그런 다음 예측된 경사를 빼서 업데이트됩니다. 경사하강법과 유사합니다.
각 항목의 의미는 다음과 같습니다.
- $F_{0}$ 은(는) 강력한 출발 모델입니다.
- $F_{i+1}$ 은(는) 그다음으로 좋은 모델입니다.
- $F_{i}$ 은(는) 현재 강력한 모델입니다.
- $\xi$ 는 축소라고 하는 0.0과 1.0 사이의 값입니다. 인코더-디코더 아키텍처를 업계의 학습률 경사하강법입니다.
- $f_{i}$ 는 손실 경사를 예측하도록 학습된 약한 모델입니다. $F_{i}$입니다.
경사 부스팅의 현대적인 변형에는 이차 도함수도 포함됩니다. (Hessian) 값을 구할 수 있습니다.
결정 트리는 일반적으로 그래디언트 부스팅이라고 합니다. 자세한 내용은 경사 강화 (결정) 트리.
I
추론 경로
결정 트리에서 추론 중에 특정 예가 루트를 다른 조건으로 변경하고 잎 예를 들어, 다음 결정 트리에서 두꺼운 화살표는 특성 값:
- x = 7
- y = 12
- z = -3
다음 그림의 추론 경로는
리프에 도달하기 전의 조건 (Zeta
)
세 개의 굵은 화살표는 추론 경로를 나타냅니다.
정보 획득
결정 포레스트에서 노드의 엔트로피 및 가중치 적용 (예시 수 기준) 하위 노드의 엔트로피 합계입니다. 노드의 엔트로피는 예시가 표시됩니다
다음 엔트로피 값을 예로 들어보겠습니다.
- 상위 노드의 엔트로피 = 0.6
- 관련 예 16개가 있는 하위 노드 1개의 엔트로피 = 0.2
- 관련 예 24개가 있는 다른 하위 노드의 엔트로피 = 0.1
따라서 예의 40% 는 하나의 하위 노드에 있고 60% 는 확인할 수 있습니다 따라서 날짜는 다음과 같이 계산합니다.
- 하위 노드의 가중 엔트로피 합계 = (0.4 * 0.2) + (0.6 * 0.1) = 0.14
따라서 정보 획득은 다음과 같습니다.
- 정보 획득 = 상위 노드의 엔트로피 - 하위 노드의 가중치가 적용된 엔트로피 합계
- 정보 획득 = 0.6 - 0.14 = 0.46
대부분의 스플리터는 조건을 만들려고 합니다. 사용하는 것이 좋습니다
인셋 조건
결정 트리에서 조건은 한 항목이 있는지 테스트합니다. 예를 들어 다음은 인셋 조건입니다.
house-style in [tudor, colonial, cape]
추론 중에 주택 스타일 feature의 값이
tudor
, colonial
또는 cape
이면 이 조건은 Yes로 평가됩니다. 만약
주택 스타일 지형지물의 값이 다른 경우 (예: ranch
)
이 조건은 No로 평가됩니다.
인셋 조건이 보통 더 효율적인 결정 트리로 이어집니다. 원-핫 인코딩 특성을 테스트하는 조건
L
잎
결정 트리의 모든 엔드포인트 좋아요 취소 조건을 충족하는 경우 리프는 테스트를 실행하지 않습니다. 오히려 리프는 가능한 예측입니다. 잎은 말단기도 하다 추론 경로의 노드입니다.
예를 들어 다음 결정 트리에는 세 개의 리프가 포함됩니다.
N
노드 (의사 결정 트리)
논바이너리 조건
세 개 이상의 가능한 결과가 포함된 조건입니다. 예를 들어, 다음의 논바이너리 조건에는 세 가지 가능한 값을 포함합니다. 결과:
O
사위
결정 트리에서 둘 이상 포함된 condition[상태] 기능에 관해 자세히 알아보세요. 예를 들어 높이와 너비가 모두 특성인 경우 다음은 사선 조건입니다.
height > width
축 정렬 조건과 대비되는 개념입니다.
가방 외 평가 (OOB 평가)
애플리케이션의 품질을 평가하는 메커니즘은 결정 포레스트 프로세스를 결정 트리를 이벤트 기간에 사용되지 않는 예시 학습을 수행합니다. 예를 들어 시스템이 각 결정 트리를 학습시키고 평가한 다음 나머지 3분의 1에 불과했습니다.
Out-of-bag(패키지 외) 평가는 계산상 효율적이고 보수적임 교차 검증 메커니즘의 근사치입니다. 교차 검증에서는 각 교차 검증 라운드마다 하나의 모델이 학습됩니다. 예를 들어 10개 모델은 10배 교차 검증으로 학습됩니다. OOB 평가에서는 단일 모델이 학습됩니다. 왜냐하면 배깅을 학습 중에 각 트리에서 일부 데이터를 보류하므로 OOB 평가는 교차 검증의 근사치를 계산합니다.
P
순열 변수 중요도
평가되는 변수 중요도의 한 유형 치환을 설정한 후 모델의 예측 오차 증가 특성의 값을 정의합니다. 순열 변수의 중요도는 모델에 의존하지 않습니다. 측정항목입니다.
R
랜덤 포레스트
앙상블은 결정 트리의 특정 임의 노이즈를 사용하여 학습한 각 결정 트리 예를 들어 배깅을 사용하면 됩니다.
랜덤 포레스트는 결정 포레스트의 한 유형입니다.
루트
시작 노드 (첫 번째 조건)를 의사 트리에 포함하는 것이 좋습니다. 규칙에 따라 다이어그램은 의사 결정 트리의 맨 위에 루트를 배치합니다. 예를 들면 다음과 같습니다.
S
교체를 통한 샘플링
동일한 값을 갖는 후보 항목 집합에서 항목을 선택하는 방법입니다. 항목을 여러 번 선택할 수 있습니다. '교체 포함' 문구 의미 각 선택 후 선택된 항목이 풀로 반환됨 조합할 수 있습니다 역수 방식은 대체 없이 샘플링하는 것입니다. 후보 항목을 한 번만 선택할 수 있음을 의미합니다
예를 들어 다음 과일 세트를 생각해 보세요.
fruit = {kiwi, apple, pear, fig, cherry, lime, mango}
시스템에서 무작위로 fig
를 첫 번째 항목으로 선택한다고 가정합니다.
대체로 샘플링을 사용하는 경우 시스템에서
두 번째 항목을 찾습니다.
fruit = {kiwi, apple, pear, fig, cherry, lime, mango}
예, 이전과 동일한 세트이므로 시스템이 잠재적으로
fig
를 다시 선택합니다.
대체 없이 샘플링을 사용하는 경우 샘플을 선택할 수 없음
선택할 수 있습니다 예를 들어 시스템에서 무작위로 fig
를
첫 번째 샘플을 선택한 후에는 fig
을(를) 다시 선택할 수 없습니다. 따라서 시스템은
다음 (감소된) 집합에서 두 번째 샘플을 선택합니다.
fruit = {kiwi, apple, pear, cherry, lime, mango}
축소
초매개변수는 컨트롤하는 그라데이션 부스팅 과적합. 그래디언트 부스팅의 축소 학습률과 경사하강법. 축소는 십진수입니다. 0.0과 1.0 사이의 값입니다. 축소 값이 낮을수록 과적합 감소 훨씬 크다는 것을 의미합니다.
분할
스플리터
결정 트리를 학습시키는 동안 루틴은 가장 적합한 모델을 찾는 데 있어 각 노드의 조건입니다.
T
테스트
임곗값 (결정 트리용)
축 정렬 조건에서 기능을 비교하는 중입니다. 예를 들어 75는 다음 조건에서 임계값에 도달할 수 있습니다.
grade >= 75<ph type="x-smartling-placeholder">
V
변수 중요도
각 항목의 상대적 중요도를 나타내는 점수 집합 특성을 모델에 추가합니다.
예를 들어 다음과 같은 결정 트리가 있다고 가정해 보겠습니다. 예상 주택 가격. 이 결정 트리가 세 가지 특성: 크기, 나이 및 스타일 변수 중요도 집합이 3개의 특성이 다음과 같이 계산됩니다. {size=5.8, age=2.5, style=4.7}인 경우 크기가 더 중요한 결정 트리를 살펴보겠습니다.
다양한 중요도 측정항목이 존재하여 모델의 다양한 측면에 대한 ML 전문가
W
군중의 지혜
대규모 그룹의 의견이나 추정치를 평균화하는 개념 '군중'은 놀라울 정도로 좋은 결과를 낳는 경우가 많습니다. 예를 들어 사람들이 숫자와 숫자를 맞추는 게임에서 젤리빈을 커다란 병에 담은 것입니다. 대부분의 개인이 정확하지 않을 수 있으므로 모든 추측의 평균값은 놀랍게도 실제 기기 수에 근접한 것으로 항아리에 젤리빈이 들어 있습니다.
앙상블은 군중의 지혜를 보여주는 소프트웨어 아날로그입니다. 개별 모델이 매우 부정확한 예측을 하더라도 많은 모델의 예측을 평균화하면 놀라울 정도로 예측이 가능합니다. 예를 들어 개인이 결정 트리는 잘못된 예측을 할 수도 있고 결정 포레스트는 종종 매우 좋은 예측을 합니다.