Stochastic Gradient Descent
Code
Read articlePosts by Tag (grid view)
- Machine Learning 37
- Image Processing 17
- Map 14
- Deep Learning 12
- Linux System 7
- Uni 7
- Numpy 7
- Keras 4
- Computer Vision 4
- Python 4
- Basic 3
- YOLO 3
- AWS SageMaker 3
- Data Science 3
- SGD 2
- Paper Review 2
- AWS S3 2
- CNN 2
- Derivative 2
- VDI 2
- Over and under fitting 1
- MSE 1
- Lambda 1
- Likelihood 1
- MLE 1
- Optimization 1
- Adam 1
- RMSProp 1
- SVM 1
- KKT 1
- Soft Margin 1
- Greedy 1
- Cost Complexity 1
- Cross Entropy 1
- Bayes 1
- Discriminant Function 1
- OOB 1
- XGBoost 1
- GBM 1
- Ada 1
- Feature Selection 1
- Bootstrap 1
- SVD 1
- Parametric 1
- DBSCAN 1
- Gaussian Mixture Model 1
- GMM 1
- Histogram 1
- Kernel Density Estimation 1
- PCA 1
- Sensor Data Processing 1
- L1 Lasso 1
- L2 Ridge 1
- Pandas 1
- Matrix 1
- Linear Combination 1
- ReLU 1
- Softmax 1
- Torch 1
- matplotlib 1
- Chain Rule 1
- Mathematics 1
- python 1
- BCE 1
Machine Learning
Learning Rate
Learning Rate
Read articleGradient Descent
Gradient Descent with Python
Read articleWeight Regularization (L1, L2)
가중치 규제
Read articleData for Machine Learning
인공지능 모델에 사용되는 데이터의 종류와 형태
Read articlePooling
Feature map 의 차원을 축소시키는 연산
Read articleMaxPooling2D
Convolutional Neural Networks 에서 사용되는 pooling 층 중 하나
Read articlekeras_Flatten
다차원 입력을 평탄화하여 1차원 배열로 변환
Read articlekeras_Dense
Define Fully connected layer or Dense Layer
Read articlekeras_Conv2D
2차원 컨볼루션 레이어
Read articleML Experiment GuideMap
Read article
Over and Under fitting
Over and Under Fitting
Read articleUnsupervised LDA
클래스 레이블 정보 없이 데이터셋의 판별 정보를 찾는 방법을 탐색
Read articleUMAP (Uniform Manifold Approximation and Projection)
고차원 데이터를 저차원 공간으로 변환하여 데이터의 전반적인 구조와 지역적인 관계를 모두 잘 보존하면서 효율적으로 시각화하는 차원 축소 기법
Read articlet-SNE (t-Distributed Stochastic Neighbor Embedding)
고차원 데이터를 저차원 공간으로 변환하여 데이터의 국소적인 구조와 유사도를 유지하면서 시각화를 가능하게 하는 차원 축소 기법
Read articlePrincipal Component Analysis (PCA, 주성분 분석)
PCA: 고차원 데이터를 저차원으로 변환하여 중요한 정보만 유지하는 차원 축소 기법으로, 데이터의 분산이 가장 큰 방향을 따라 새로운 축(주성분)을 생성
Read articleMean Shift
데이터 포인트들의 밀도를 추정하여 밀도가 높은 방향으로 이동하며 군집 중심을 찾는 비모수적 군집화 알고리즘
Read articleK-Means
데이터를 K개의 군집으로 나누기 위해 각 데이터 포인트를 가장 가까운 군집 중심에 할당하고, 군집 중심을 반복적으로 업데이트하는 군집화 알고리즘
Read articleHierarchical Clustering
데이터 포인트들을 계층적으로 그룹화하는 군집화 기법으로, 주로 상향식(병합)과 하향식(분할) 접근법을 사용하여 군집 간의 계층 구조를 형성
Read articleGaussian Mixture Model (GMM)
데이터를 여러 개의 가우시안 분포의 혼합으로 모델링하여 각 데이터 포인트가 특정 가우시안 분포에 속할 확률을 추정하는 군집화 기법
Read articleDBSCAN (Density-Based Spatial Clustering of Applications with Noise)
밀도 기반 군집화 알고리즘으로, 밀도가 높은 영역에서 군집을 형성하고, 밀도가 낮은 영역은 노이즈로 간주하는 방식
Read articleClustering
데이터 포인트들을 유사한 특성을 가진 그룹으로 묶어주는 비지도 학습 기법
Read articleSingular Value Decomposition (SVD, 특이값 분해)
행렬을 세 개의 행렬로 분해하여 원본 행렬의 중요한 구조적 정보를 추출하는 기법으로, 차원 축소나 노이즈 제거 등에 활용
Read articleEnsemble Learning (Complex)
여러 개의 모델을 학습 시켜 다양한 예측 결과들을 이용하는 방법
Read articleDimension Reduction (차원 축소)
고차원의 데이터를 더 작은 차원으로 변환하여 중요한 정보는 유지하면서 데이터의 복잡도를 줄이고 계산 효율성을 높이는 기법
Read articleBoosting
약한 학습기(weak learners)를 순차적으로 훈련, 이전 모델의 오류를 보완하면서 점진적으로 성능을 향상시키는 앙상블 학습 기법
Read articleBagging (Bootstrap Aggregating)
여러 데이터 샘플을 랜덤하게 생성한 후, 각 샘플에서 모델을 학습시켜 예측을 결합함으로써 분산을 줄이고 모델의 성능을 향상시키는 앙상블 학습 기법
Read articleLinear Discriminant Analysis (LDA)
클래스 간의 분산을 최대화하고 클래스 내 분산을 최소화하여 데이터를 선형 결합으로 변환해 분류하는 차원 축소 기법
Read articleThe Decision Tree
데이터를 기준에 따라 분할하여 의사결정 규칙을 만들어가는 트리 구조의 모델로, 분류나 회귀 문제를 해결
Read articleSupport Vector Machine (SVM)
데이터 포인트를 분류하기 위해 클래스 간의 최대 마진을 확보하는 초평면을 찾는 지도 학습 알고리즘
Read articleLinear and Non-linear Regression
Linear Regression은 독립 변수와 종속 변수 사이의 선형 관계를, Non-linear Regression은 변수들 간의 비선형 관계를 모델링하여 보다 복잡한 패턴을 학습
Read articleOptima (Local minima problem)
최적화 문제에서 목적 함수가 최소값(최소점) 또는 최대값(최대점)을 갖는 지점
Read articleLogistic and Soft-max Regression
Logistic Regression: 이진 분류 문제에서 sigmoid 함수를 사용해 클래스 확률을 예측, Softmax Regression: 다중 클래스 분류에서 각 클래스에 대한 확률을 계산하여 가장 높은 확률의 클래스를 선택
Read articleLearning Rate Scheduler (LRS)
학습 중에 학습률을 동적으로 조정하여 모델의 성능을 최적화하고, 너무 크거나 작은 학습률로 인한 문제를 방지
Read articleGradient Descent
함수의 기울기를 따라가면서 손실을 최소화하는 방향으로 파라미터를 업데이트하는 최적화 알고리즘
Read articleBias and Variance Trade-off and Loss Function
모델의 복잡도를 조절하여 과소적합(bias)과 과적합(variance) 사이에서 최적의 균형을 찾는 과정
Read articleMachine Learning 101
Machine Learning 은, 데이터를 통해 패턴을 학습하여 일부의 데이터만으로 예측하는 알고리즘의 집합
Read articleImage Processing
Morphology: Hit or Miss Transform
영상 처리에서 특정한 패턴이나 모양을 탐지하기 위해 사용되는 모폴로지적 변환 기법
Read articleRestoratioin Color
손상되거나 열화된 컬러 이미지를 원래 상태로 복원하기 위한 기술
Read articleThreshold Interpolation
Edge Detect 를 위한 영상 처리과정에서 원근감에 의한 노이즈에 대해 Interpolation (보간법) 을 유기적으로 사용하여 개선하는 것.
Read articlePixel Histogram
픽셀 히스토 그램을 이용하여, 영상 픽셀의 분포도 유추
Read articleEdge Detection
Edge Detection
Read articleComputer Vision Guide Map
Deep Learning - Computer Vision Experiment
Read articleSmoooooothing
이미지나 신호에서 노이즈나 세부 변동성을 줄이기 위해 데이터를 부드럽게 만드는 기법
Read articleSharpening
이미지의 경계나 세부 정보를 강조하여 더 뚜렷하게 만들기 위한 처리 기법
Read articleMechanics of Linear Spatial Filtering
이미지를 처리할 때, 각 픽셀에 주변 픽셀 값들의 선형 결합을 적용하는 방식
Read articleSpatial Correlation & Convolution
Spatial Correlation & Convolution
Read articleSpatial Filtering
이미지 처리에서 각 픽셀의 값을 그 주변 픽셀들과의 공간적 관계에 따라 조정하는 기법
Read articleFourier Transform
시간이나 공간에 대한 함수를 시간 또는 공간 주파수 성분으로 분해하는 변환
Read articleHistogram
이미지에서 픽셀 값의 분포를 그래픽으로 표현한 것
Read articleFilter in Frequency domain
이미지나 신호를 주파수 도메인에서 처리하는 기법
Read articleFilter and Transformation in Spatial Domain
필터링과 변환은 이미지를 직접적으로 처리하는 방식
Read articleDigital Image
아날로그 이미지를 디지털 형식으로 변환. 주로 샘플링과 양자화를 통해 이루어짐
Read articleImage Processing Basic
디지털 이미지를 분석, 변환, 향상 또는 이해하기 위한 다양한 알고리즘과 기술
Read articleMap
VDI Project GuideMap
VDI Project
Read articleMathematics GuideMap
Mathematics
Read articleData Science GuideMap
Data Science guide map
Read articleAWS GuideMap
EC2
Read articleBK 1000, A+B
A+B
Read articleAlgorithm Guide Map
Algorithm
Read articleML Experiment GuideMap
Read article
Computer Vision Guide Map
Deep Learning - Computer Vision Experiment
Read articlePython GuideMap
Python Experiment
Read articleDeep Learning GuideMap
Deep Learning
Read articleStudy GuideMap
정규전공과목 메모장
Read articleImage Processing GuideMap
Read article
Machine Learning 101
Machine Learning 은, 데이터를 통해 패턴을 학습하여 일부의 데이터만으로 예측하는 알고리즘의 집합
Read articleLinux System Map
리눅스 시스템 프로그래밍
Read articleDeep Learning
Sequence Loss Function
Sequence Loss Function
Read articleLoss Function
Loss(Cost) Function
Read articleGenerative Loss Function
FYR: Loss Funcition Classification Loss Funcition Regression Loss Funcition Sequence Loss Funcition Generative Loss Funcition Advanced Loss Func...
Read articleClassification Loss Function
Classification Loss Function
Read articleAdvanced Loss Function
Advanced Loss Function
Read articleCost Function
Cost Function
Read articleRegression Loss Function
Loss Function - Regression
Read articleActivation Function
Activation (Non-linear) function
Read articleResNet Paper Review
ResNet Paper Review
Read articleVOLO Paper Review
You Only Look Once
Read articleEnd-to-End Learning for Self Driving Cars Paper Review
End-to-End Learning for Self Driving Cars Paper Review
Read articleDeep Learning 101
Deep Learning
Read articleLinux System
Users and Group
User and Group
Read articleThreading
Threading
Read articleProcess Management
Process Management
Read articleBuffered I/O
파일 시스템 작업과 관련된 I/O
Read articleFile System
File system 에 관련된 System call 전반
Read articleLow-Level Linux System 101
Linux kernel Programing
Read articleLinux System Map
리눅스 시스템 프로그래밍
Read articleUni
Users and Group
User and Group
Read articleThreading
Threading
Read articleProcess Management
Process Management
Read articleBuffered I/O
파일 시스템 작업과 관련된 I/O
Read articleFile System
File system 에 관련된 System call 전반
Read articleLow-Level Linux System 101
Linux kernel Programing
Read articleLinux System Map
리눅스 시스템 프로그래밍
Read articleNumpy
Numpy - Softmax
Soft-max function by Numpy
Read articleNumpy - ReLU
ReLU by Numpy
Read articleNumpy - Linear Combination
Linear Combination by Numpy
Read articleNumpy - Dimensional Functions
Numpy Dimension
Read articleNumpy - Combining Functions
Numpy Combine
Read articleNumpy - Mathematical Functions
Numpy Mathematical Referenced from OpenCV University and Numpy Official
Read articleNumpy Basic
Numpy
Read articleKeras
Pooling
Feature map 의 차원을 축소시키는 연산
Read articleMaxPooling2D
Convolutional Neural Networks 에서 사용되는 pooling 층 중 하나
Read articlekeras_Flatten
다차원 입력을 평탄화하여 1차원 배열로 변환
Read articlekeras_Dense
Define Fully connected layer or Dense Layer
Read articleComputer Vision
Train End to End CNN Model
알고리즘 개요
Read articleVOLO Paper Review
You Only Look Once
Read articleEnd-to-End Learning for Self Driving Cars Paper Review
End-to-End Learning for Self Driving Cars Paper Review
Read articleVOLO v8 Basic
Yolo V8 Basic
Read articlePython
Stochastic Gradient Descent
Code
Read articleGradient Descent
Gradient Descent with Python
Read articlePandas Basic
Pandas
Read articlePython FN MAP
map()
Read articleBasic
Low-Level Linux System 101
Linux kernel Programing
Read articleImage Processing Basic
디지털 이미지를 분석, 변환, 향상 또는 이해하기 위한 다양한 알고리즘과 기술
Read articleMachine Learning 101
Machine Learning 은, 데이터를 통해 패턴을 학습하여 일부의 데이터만으로 예측하는 알고리즘의 집합
Read articleYOLO
VOLO Paper Review
You Only Look Once
Read articleEnd-to-End Learning for Self Driving Cars Paper Review
End-to-End Learning for Self Driving Cars Paper Review
Read articleVOLO v8 Basic
Yolo V8 Basic
Read articleAWS SageMaker
SageMaker Labeling Workspace
SageMaker Labeling Workspace
Read articleSageMaker Labeling Workforces
SageMaker Labeling Workforces
Read articleSageMaker Ground Truth (Labeling)
SageMaker Labeling
Read articleData Science
Data Processing Basic
Data Pricessing Basic
Read articleCoco Sequence Data Analysis
Coco 데이터 세트에서 추출한 데이터 분석 및 시각화
Read articleData Science GuideMap
Data Science guide map
Read articleSGD
Logistic and Soft-max Regression
Logistic Regression: 이진 분류 문제에서 sigmoid 함수를 사용해 클래스 확률을 예측, Softmax Regression: 다중 클래스 분류에서 각 클래스에 대한 확률을 계산하여 가장 높은 확률의 클래스를 선택
Read articleGradient Descent
함수의 기울기를 따라가면서 손실을 최소화하는 방향으로 파라미터를 업데이트하는 최적화 알고리즘
Read articlePaper Review
VOLO Paper Review
You Only Look Once
Read articleEnd-to-End Learning for Self Driving Cars Paper Review
End-to-End Learning for Self Driving Cars Paper Review
Read articleAWS S3
S3 File Management
S3 File Management
Read articleS3 Create Bucket
Amazon Simple Storage Service
Read articleCNN
ResNet Paper Review
ResNet Paper Review
Read articleTrain End to End CNN Model
알고리즘 개요
Read articleDerivative
Partial Derivative
A partial derivative measures how a function changes when only one variable changes and the rest stay fixed.
Read articleDerivative
Derivative, Differentiate
Read articleVDI
VDI Logic and Architecture
Architecture
Read articleVDI Logic and Architecture KR
Architecture
Read articleOver and under fitting
Bias and Variance Trade-off and Loss Function
모델의 복잡도를 조절하여 과소적합(bias)과 과적합(variance) 사이에서 최적의 균형을 찾는 과정
Read articleMSE
Gradient Descent
함수의 기울기를 따라가면서 손실을 최소화하는 방향으로 파라미터를 업데이트하는 최적화 알고리즘
Read articleLambda
Learning Rate Scheduler (LRS)
학습 중에 학습률을 동적으로 조정하여 모델의 성능을 최적화하고, 너무 크거나 작은 학습률로 인한 문제를 방지
Read articleLikelihood
Logistic and Soft-max Regression
Logistic Regression: 이진 분류 문제에서 sigmoid 함수를 사용해 클래스 확률을 예측, Softmax Regression: 다중 클래스 분류에서 각 클래스에 대한 확률을 계산하여 가장 높은 확률의 클래스를 선택
Read articleMLE
Logistic and Soft-max Regression
Logistic Regression: 이진 분류 문제에서 sigmoid 함수를 사용해 클래스 확률을 예측, Softmax Regression: 다중 클래스 분류에서 각 클래스에 대한 확률을 계산하여 가장 높은 확률의 클래스를 선택
Read articleOptimization
Optima (Local minima problem)
최적화 문제에서 목적 함수가 최소값(최소점) 또는 최대값(최대점)을 갖는 지점
Read articleAdam
Optima (Local minima problem)
최적화 문제에서 목적 함수가 최소값(최소점) 또는 최대값(최대점)을 갖는 지점
Read articleRMSProp
Optima (Local minima problem)
최적화 문제에서 목적 함수가 최소값(최소점) 또는 최대값(최대점)을 갖는 지점
Read articleSVM
Support Vector Machine (SVM)
데이터 포인트를 분류하기 위해 클래스 간의 최대 마진을 확보하는 초평면을 찾는 지도 학습 알고리즘
Read articleKKT
Support Vector Machine (SVM)
데이터 포인트를 분류하기 위해 클래스 간의 최대 마진을 확보하는 초평면을 찾는 지도 학습 알고리즘
Read articleSoft Margin
Support Vector Machine (SVM)
데이터 포인트를 분류하기 위해 클래스 간의 최대 마진을 확보하는 초평면을 찾는 지도 학습 알고리즘
Read articleGreedy
The Decision Tree
데이터를 기준에 따라 분할하여 의사결정 규칙을 만들어가는 트리 구조의 모델로, 분류나 회귀 문제를 해결
Read articleCost Complexity
The Decision Tree
데이터를 기준에 따라 분할하여 의사결정 규칙을 만들어가는 트리 구조의 모델로, 분류나 회귀 문제를 해결
Read articleCross Entropy
The Decision Tree
데이터를 기준에 따라 분할하여 의사결정 규칙을 만들어가는 트리 구조의 모델로, 분류나 회귀 문제를 해결
Read articleBayes
Linear Discriminant Analysis (LDA)
클래스 간의 분산을 최대화하고 클래스 내 분산을 최소화하여 데이터를 선형 결합으로 변환해 분류하는 차원 축소 기법
Read articleDiscriminant Function
Linear Discriminant Analysis (LDA)
클래스 간의 분산을 최대화하고 클래스 내 분산을 최소화하여 데이터를 선형 결합으로 변환해 분류하는 차원 축소 기법
Read articleOOB
Bagging (Bootstrap Aggregating)
여러 데이터 샘플을 랜덤하게 생성한 후, 각 샘플에서 모델을 학습시켜 예측을 결합함으로써 분산을 줄이고 모델의 성능을 향상시키는 앙상블 학습 기법
Read articleXGBoost
Boosting
약한 학습기(weak learners)를 순차적으로 훈련, 이전 모델의 오류를 보완하면서 점진적으로 성능을 향상시키는 앙상블 학습 기법
Read articleGBM
Boosting
약한 학습기(weak learners)를 순차적으로 훈련, 이전 모델의 오류를 보완하면서 점진적으로 성능을 향상시키는 앙상블 학습 기법
Read articleAda
Boosting
약한 학습기(weak learners)를 순차적으로 훈련, 이전 모델의 오류를 보완하면서 점진적으로 성능을 향상시키는 앙상블 학습 기법
Read articleFeature Selection
Dimension Reduction (차원 축소)
고차원의 데이터를 더 작은 차원으로 변환하여 중요한 정보는 유지하면서 데이터의 복잡도를 줄이고 계산 효율성을 높이는 기법
Read articleBootstrap
Ensemble Learning (Complex)
여러 개의 모델을 학습 시켜 다양한 예측 결과들을 이용하는 방법
Read articleSVD
Singular Value Decomposition (SVD, 특이값 분해)
행렬을 세 개의 행렬로 분해하여 원본 행렬의 중요한 구조적 정보를 추출하는 기법으로, 차원 축소나 노이즈 제거 등에 활용
Read articleParametric
Clustering
데이터 포인트들을 유사한 특성을 가진 그룹으로 묶어주는 비지도 학습 기법
Read articleDBSCAN
DBSCAN (Density-Based Spatial Clustering of Applications with Noise)
밀도 기반 군집화 알고리즘으로, 밀도가 높은 영역에서 군집을 형성하고, 밀도가 낮은 영역은 노이즈로 간주하는 방식
Read articleGaussian Mixture Model
Gaussian Mixture Model (GMM)
데이터를 여러 개의 가우시안 분포의 혼합으로 모델링하여 각 데이터 포인트가 특정 가우시안 분포에 속할 확률을 추정하는 군집화 기법
Read articleGMM
Gaussian Mixture Model (GMM)
데이터를 여러 개의 가우시안 분포의 혼합으로 모델링하여 각 데이터 포인트가 특정 가우시안 분포에 속할 확률을 추정하는 군집화 기법
Read articleHistogram
Mean Shift
데이터 포인트들의 밀도를 추정하여 밀도가 높은 방향으로 이동하며 군집 중심을 찾는 비모수적 군집화 알고리즘
Read articleKernel Density Estimation
Mean Shift
데이터 포인트들의 밀도를 추정하여 밀도가 높은 방향으로 이동하며 군집 중심을 찾는 비모수적 군집화 알고리즘
Read articlePCA
Principal Component Analysis (PCA, 주성분 분석)
PCA: 고차원 데이터를 저차원으로 변환하여 중요한 정보만 유지하는 차원 축소 기법으로, 데이터의 분산이 가장 큰 방향을 따라 새로운 축(주성분)을 생성
Read articleSensor Data Processing
Fourier Transform
시간이나 공간에 대한 함수를 시간 또는 공간 주파수 성분으로 분해하는 변환
Read articleL1 Lasso
Weight Regularization (L1, L2)
가중치 규제
Read articleL2 Ridge
Weight Regularization (L1, L2)
가중치 규제
Read articlePandas
Pandas Basic
Pandas
Read articleMatrix
Numpy - Dimensional Functions
Numpy Dimension
Read articleLinear Combination
Numpy - Linear Combination
Linear Combination by Numpy
Read articleReLU
Numpy - ReLU
ReLU by Numpy
Read articleSoftmax
Numpy - Softmax
Soft-max function by Numpy
Read articleTorch
Torch Basic
Torch Basic
Read articlematplotlib
Matplotlib
Matplot Library
Read articleChain Rule
Derivative
Derivative, Differentiate
Read articleMathematics
Ordinary Least Squares and the Normal Equations
Ordinary Least Squares and the Normal Equations (Closed Form Solution)
Read articlepython
Data Processing Basic
Data Pricessing Basic
Read articleBCE
Classification Loss Function
Classification Loss Function
Read article