[PRML / 패턴인식과 머신러닝 / Chapter 1] 패턴인식 및 학습 알고리즘 소개

개요

[ADsP / 데이터 분석 기획] 데이터 분석 기획의 이해 (분석 과제 발굴, 분석 프로젝트 관리 방안)

분석 과제 발굴

[ADsP / 데이터 분석 기획] 데이터 분석 기획의 이해 (분석 기획의 방향성/분석 방법론)

분석 기획 방향성 도출

[ADsP / 데이터의 이해] 가치 창조를 위한 데이터 사이언스 및 전략 인사이트

빅데이터 분석 및 전략 인사이트

[ADsP / 데이터의 이해] 데이터의 미래 (빅데이터의 활용/위기요인 및 통제방안/미래의 빅데이터 활용 3요소)

비즈니스 모델

[ADsP / 데이터의 이해] 데이터의 가치 (빅데이터의 정의/특징/출현 배경/기능 및 변화/가치)

빅데이터

[ADsP / 데이터의 이해] 데이터베이스의 정의와 특징, 활용

데이터베이스

[ADsP / 데이터의 이해] 데이터와 정보 (데이터의 정의/특징/유형)

데이터

(Paper Review) Moshi: a speech-text foundation model for real-time dialogue

Introduction 기존 Speech-Text Foundation Model은 독립적 요소들의 파이프라인에 의존함. 하지만 이러한 기존 방식은 실제 대화를 모방하기에는 한...

Audio Codec: Neural Audio Codec

0. Neural Audio Codec 개요: vs. 전통적 오디오 코덱 전통적 코덱(MP3, AAC 등) 수학적 변환(MDCT 등) + 심리음향 모...

Audio Codec: 전통적 압축방식

1. 압축이 필요한 이유 원본 파형은 1초에 44,100 x 16비트 = 705,600비트 → 대략 88KB 용량의 데이터 생성 3분 길이의 노래를 기준으로 했을 때...

오디오 파형을 바라보는 관점: 시간 영역 vs 주파수 영역 / 푸리에 변환

1. 시간 영역의 오디오 파형 소리가 파형으로 시각화 → 시간에 따른 샘플 값들을 그래프로 표현하여 소리의 진폭 변화를 보여주는 것 위와 같이 표현하는 방법이 소리의...

오디오 데이터(소리)의 기본 개념: 샘플링 / 샘플링 속도 / 주파수 / 진동 / 진폭 / 비트뎁스 / 파형

1. 소리가 디지털 신호가 되는 과정 소리란? 공기 압력의 진동 사람이 말하거나 악기가 울리면 → 공기가 밀리고 벌어지며 파동 형성 본질적으로 음파는? → 연속적...

[도와주세요][Help me] 로컬에서 IDE(VSCode, Cursor) 사용 시 Git

앞으로 공부할 때 문제가 생겼던 점들을 하나씩 기록해 나가볼 생각이다. 기록해두면, 추후에 나도 동일한 문제를 반복하지 않을 수 있을 것이고 이 글을 혹시 볼 지 모르는 다른...

[CS/Computer Science][네트워크/ Network] 물리 계층과 데이터 링크 계층

이번 포스팅부터, 네트워크 참조모델을 구성하는 가장 최하위 계층부터 하나씩 알아보겠습니다. 먼저, 가장 근원적인 지점인 물리 계층과 데이터 링크 계층에 관한 내용입니다. 두 ...

[CS/Computer Science][네트워크/ Network] 네트워크의 큰 그림

1. 네트워크의 기본 구조 네트워크: 여러 대의 장치가 그물처럼 연결되어 정보를 주고 받는 통신망 네트워크는 그래프의 형태를 띔 → 노드와 간선으로 ...

[CS/Computer Science][운영체제 / OS] 가상메모리

1. 개요 “CPU와 프로세스가 메모리 몇 번지에 무엇이 저장되어 있는지 모두 알고 있다?” ⇒ 그렇지 않음 위의 말처럼, 모든 정보를 다 알고 있기...

[CS/Computer Science][운영체제 / OS] 프로세스와 스레드

이번 포스트에서는 프로세스와 스레드에 대해 자세히 알아보겠습니다.

[CS/Computer Science][운영체제 / OS] 운영체제의 큰 그림

운영체제는 매우 많은 종류와 다양한 기능이 있는 특별한 프로그램입니다. 운영체제에는 Windows, MacOS, Linux, Android, iOS 등 다양한 종류가 있지만,...

[CS/Computer Science][데이터베이스 / Database] 데이터베이스 설계(ER 다이어그램, 정규화)

1. ER 다이어그램(ERD) 데이터베이스를 구성하는 요소들의 관계를 나타내는 그림 즉, 엔티티 관계를 표현하는 그림(ERD, Entity Relat...

[CS/Computer Science][데이터베이스 / Database] RDBMS의 기본

먼저, 가장 널리 사용되는 데이터베이스 종류인 RDBMS(관계형 데이터베이스)에 대해 알아보고, 이어서 데이터베이스의 무결성 제약조건까지 알아보도록 하겠습니다. RDBMS는 ...

[CS/Computer Science][데이터베이스 / Database] 데이터베이스의 기본

1. 데이터베이스와 DBMS 데이터 베이스란? "원하는 기능 동작"을 위해 반드시 저장해야 하는 정보 집합 사전적 의미 : 여러 사람이 공유해 사용할...

[CS/Computer Science][자료구조/Data Structure] 트리

이어서, 이번에는 트리에 대해 알아보겠습니다.

[CS/Computer Science][자료구조/Data Structure] 해시 테이블

이어서, 이번에는 해시 테이블에 대해 알아보겠습니다.

[CS/Computer Science][자료구조/Data Structure] 스택 / 큐

이번 포스트에서는 컴퓨터 자료구조 중 중요한 특성을 지닌 스택과 큐에 대해 알아보겠습니다.

[CS/Computer Science][자료구조/Data Structure] 연결 리스트

가장 자주쓰이는 기본적인 자료 구조인 배열에 이어서, 이번 포스트에서는 연결리스트에 대해 알아보도록 하겠습니다.

[CS/Computer Science][자료구조/Data Structure] 배열

지난 포스팅에서는 프로그래밍을 하면서 판단할 수 있는 알고리즘 성능의 척도인 시간복잡도 및 공간복잡도에 대하여 알아보았습니다. 이번 포스팅에서는 7가지 핵심 자료구조 중 하나...

[CS/Computer Science][자료구조/Data Structure] 시간복잡도 / 공간복잡도

시간복잡도 및 공간복잡도는 자료구조 및 알고리즘을 판단하는 척도이다. 이 두 개념을 알아보기에 앞서, 자료구조와 알고리즘에 대해 먼저 개략적으로 짚고 넘어가 보자.

[Python/파이썬][완전탐색] 백준 2231번 - 분해합

문제 어떤 자연수 N이 있을 때, 그 자연수 N의 분해합은 N과 N을 이루는 각 자리수의 합을 의미한다. 어떤 자연수 M의 분해합이 N인 경우, M을 N의 생성자라 한다. 예...

[Python/파이썬][완전탐색] 백준 1018번 - 체스판 다시 칠하기

문제 지민이는 자신의 저택에서 MN개의 단위 정사각형으로 나누어져 있는 M×N 크기의 보드를 찾았다. 어떤 정사각형은 검은색으로 칠해져 있고, 나머지는 흰색으로 칠해져 있다....

[CS/Computer Science][데이터 표현] 컴퓨터의 데이터 표현 - 데이터 단위 / 숫자 데이터 표현

지난 포스트에서는, 컴퓨터가 정보를 이해하는 방법 및 개략적인 컴퓨터 구조에 관해 살펴보았습니다.

[CS/Computer Science][컴퓨터 구조] 컴퓨터 구조 개요

Computer Science를 이해하기에 앞서, 컴퓨터 구조를 먼저 개략적으로 살펴보도록 하겠습니다.

[CS/Computer Science][컴퓨터 구조] 컴퓨터 구조 개요

Computer Science를 이해하기에 앞서, 컴퓨터 구조를 먼저 개략적으로 살펴보도록 하겠습니다.

[Python/파이썬][Greedy/그리디] 백준 1026번 - 보물

문제 옛날 옛적에 수학이 항상 큰 골칫거리였던 나라가 있었다. 이 나라의 국왕 김지민은 다음과 같은 문제를 내고 큰 상금을 걸었다.

[Python/파이썬][Greedy/그리디] 백준 11399번 - ATM

문제 인하은행에는 ATM이 1대밖에 없다. 지금 이 ATM앞에 N명의 사람들이 줄을 서있다. 사람은 1번부터 N번까지 번호가 매겨져 있으며, i번 사람이 돈을 인출하는데 걸리...

[Python/파이썬][Greedy/그리디] 백준 2839번 - 설탕 배달

문제 상근이는 요즘 설탕공장에서 설탕을 배달하고 있다. 상근이는 지금 사탕가게에 설탕을 정확하게 $N$킬로그램을 배달해야 한다. 설탕공장에서 만드는 설탕은 봉지에 담겨져 있다...

Whisper (Paper Review)

0. Whisper 모델 개요 2022년 OpenAI에서 공개한 ASR(자동 음성 인식) 모델 68만 시간의 대규모 다국어 음성 데이터로 학습 → 기존 ASR 모델들...

Audio Benchmark Dataset(SALMONN: Paper Review)

About. Audio Benchmark Dataset Audiocaps, Gigaspeech, WavCaps, Librispeech, Clotho

Multiple tasks(SALMONN: Paper Review)

Multiple tasks used in train SALMONN stage2

SALMONN(Paper Review)

SALMONN: Speech Audio Language Music Open Neural Network

[모델 최적화 및 경량화 / Quantization] Quantization

Quantization

[모델 최적화 및 경량화 / Knowledge Distillation] Feature-based KD, Imitation Learning, 기타 KD 기법

Feature-based KD

[모델 최적화 및 경량화 / Knowledge Distillation] Knowledge Distillation, Logit-based KD

Knowledge Distillation

[모델 최적화 및 경량화 / Pruning] Pruning 적용: CNN, BERT

Matrix Sparsity

[모델 최적화 및 경량화 / Pruning] 모델 경량화와 Pruning

모델 경량화

Zero-shot / One-shot / Few-shot Learning

0. N-shot Learning 실제 현실에서는, 확보 가능한 데이터에 대해 다음과 같은 어려움이 있음 모델 학습 시 충분한 양의 데이터 및 라벨을...

[RecSys / Context 기반 추천시스템] Context에 기반한 추천시스템 / FM(Factorization Machine)

[RecSys / 딥러닝을 활용한 추천시스템] RNN을 활용한 추천시스템 모델 (GRU4Rec)

GRU4Rec: 개요 및 핵심 아이디어

[RecSys / 딥러닝을 활용한 추천시스템] GNN을 활용한 추천시스템 모델: NGCF, LightGCN

1. Graph Neural Network Graph Node(꼭짓점)들과 그들을 잇는 edge(변)들을 모아 구성한 자료구조 표현법: 일반적으로 $G=(V, E)$...

[RecSys / 딥러닝을 활용한 추천시스템] AutoEncoder를 활용한 추천시스템 모델 (AutoRec, CDAE)

AutoEncoder란?

[RecSys / 딥러닝을 활용한 추천시스템] DNN for YouTube Recommendation

개요

[RecSys / 딥러닝을 활용한 추천시스템] 딥러닝을 추천시스템에 활용하는 이유 / MLP를 활용한 추천시스템 모델 (NCF)

Recommender System with DL

[RecSys / Collaborative Filtering] CF 개요 , Neighbor-based CF

Collaborative Filtering (CF)

[RecSys / RecSys 기초] 추천시스템 기본 기법

연관분석(Association Analysis)

[RecSys / RecSys 기초] 추천시스템 기초

추천시스템이란?

[ML 경진대회/기법] Retrieval

1. Retrieval 개요 대규모 데이터에서 사용자의 질의(Query)에 가장 적합한 정보(문서, 문장, 이미지 등)를 찾아내는 기술 고차원 데이터...

[ML 경진대회/기법] 임베딩 (Embedding)

1. 임베딩이란? 구성하는 데이터의 의미 있는 구조를 파악하기 위해, 데이터를 저차원 공간으로 변환하는 방법 거의 모든 종류의 데이터를 공간 위 점으...

[ML 경진대회/기법] 대표 클러스터링 기법: GMM

0. GMM 개요 데이터가 여러 개의 서로 다른 가우시안 분포에서 왔다고 가정 각 분포의 평균, 공분산, 혼합계수 추정 각 데이터 포인트가...

[ML 경진대회/기법] 대표 클러스터링 기법: DBSCAN

0. DBSCAN 개요 데이터의 밀도를 기반으로 Clustering하는 알고리즘 데이터의 밀도를 기반으로 클러스터 탐색 / 노이즈 구분 U...

[ML 경진대회/기법] 대표 클러스터링 기법: K-Means / K-Means++

0. K-Means 개요 ML 비지도 학습의 일종 데이터를 K개로 묶는 군집화 알고리즘 군집화: 비슷한 특성을 지닌 데이터를 모아놓은 그룹 생성 ...

[ML 경진대회/기법] 클러스터링 (Clustering)

1. Clustering Overview Clustering 데이터에서 유사한 특징을 가진 데이터 포인트들을 그룹화하여 의미있는 패턴을 발견하는 기술 ...

[ML 경진대회/기법] ML 경진대회 기초

1. 현업과 경진대회의 차이점 일단 가장 큰 차이점은, 데이터 수집단계에서 가장 큰 차이가 있다. 당연하게도, 경진대회는 데이터를 제공하고 현업에서는 직접 데이터를 수집해서 ...

[ML/실험 관리] 머신러닝 모델 실험 관리

1. Experiment Management 실험 관리 머신러닝 실험 관리 ML 모델 개발 및 최적화 과정에서, 실험에 사용된 다양한 요소들을 체계적...

[ML/모델 튜닝 기법] 하이퍼파라미터 튜닝 (Hyperparameter Tune)

1. Hyperparameter Optimization HPO(Hyperparameter Optimization) 하이퍼파라미터 최적화 Hyperparameter v...

[ML/모델 튜닝 기법] 앙상블

1. 모델 앙상블 앙상블(Ensemble) 데이터 예측 수행 시, 단일 모델만을 사용하기 보다 여러 모델을 같이 이용하는 것이 더 좋은 예측 성능을 보일 수 있음 → 단...

[ML / 모델 학습 파이프라인] 모델 과적합 / 모델 교차 검증

1. 모델 과적합(Over-fitting) 과적합 정의 훈련한 데이터에 대해서는 예측을 잘하는 반면, 검증 데이터나 새로운 데이터에 대해서는 성능이 ...

[ML / ML 개요] EDA / Feature Engineering

1. EDA 개요 EDA란? 데이터를 요약하고, 주요 특성을 시각적으로 탐색하는 과정 EDA 주요 목적 데이터 ...

[ML / ML 개요] ML 경진대회를 임하는 방법

요즘 온라인의 수많은 플랫폼에서 많은 ML 경진대회가 진행되고 있다. 그 중 개인적으로 처음 ML 대회를 진행해보는 만큼, 이에 앞서 유념하고 가면 좋을 부분에 대해 정리해 ...

[Python/파이썬] 백준 1247번 - 부호

문제 N개의 정수가 주어지면, 이 정수들의 합 S의 부호를 구하는 프로그램을 작성하시오.

Streamlit을 활용한 웹 프로토타입 구현하기

1. Streamlit을 활용한 웹 프로토타입 구현 1.1 프로토타입(Prototype) 완벽한 제품이 나오기 전, 확인 가능한 샘플 버전 런칭 전 Test를 위해 ...

[Python/파이썬] 백준 1085번 - 직사각형에서 탈출

문제 한수는 지금 $(x, y)$에 있다. 직사각형은 각 변이 좌표축에 평행하고, 왼쪽 아래 꼭짓점은 $(0, 0)$, 오른쪽 위 꼭짓점은 $(w, h)$에 있다. 직사각형의...

[Python/파이썬] 백준 3046번 - 줄번호

문제 텍스트에서 줄을 입력받은 뒤, 줄 번호를 출력하는 프로그램을 작성하시오. 입력 첫째 줄에 줄의 수 $N$이 주어진다. 둘째 줄부터 $N$개의 줄에 각 줄의 내용이 주어진...

[Python/파이썬] 백준 3046번 - R2

문제 두 숫자 $R1$과 $R2$가 있을 때, 두 수의 평균 $S$는 $(R1+R2)/2$와 같다. 상근이는 정인이 생일 선물로 두 숫자 $R1$과 $R2$를 주려고 한다. ...

[Python/파이썬] 백준 2845번 - 파티가 끝나고 난 뒤

문제 파티가 끝나고 나면, 사람들은 누가 파티에 왔는지와 얼마나 많은 사람들이 왔는지를 궁금해한다. 보통 파티는 매우 크게 열리기 때문에, 정확하게 몇 명이 참가했는지 알 수...

[Python/파이썬] 백준 8370번 - Plane

문제 Byteland Airlines recently extended their aircraft fleet with a new model of a plane. The new ...

[Python/파이썬] 백준 7891번 - Can you add this?

문제 Given two integers, calculate and output their sum.

[Python/파이썬] 백준 7287번 - 등록

문제 자신이 백준 온라인 저지(BOJ)에서 맞은 문제의 수와 아이디를 그대로 출력하는 프로그램을 작성하시오.

[Python/파이썬] 백준 2752번 - 세수정렬

문제 동규는 세수를 하다가 정렬이 하고 싶어졌다.

[Python/파이썬] 백준 2742번 - 기찍

문제 자연수 $N$이 주어졌을 때, $N$부터 1까지 한 줄에 하나씩 출력하는 프로그램을 작성하시오.

[Python/파이썬] 백준 5522번 - 카드게임

문제 JOI군은 카드 게임을 하고 있다. 이 카드 게임은 5회의 게임으로 진행되며, 그 총점으로 승부를 하는 게임이다.

EM Algorithm

1. EM Algorithm 1.1 개요 MLE를 구하는 기법 확률분포의 Latent Variable을 추정하여, 이를 기반으로 모델 파라미터를 반복적으로 개선하는 ...

[Python/파이썬] 백준 5341번 - Pyramids

문제 A pyramid of blocks is constructed by first building a base layer of n blocks and then adding ...

변분추론(Variational Inference) / MFVI(Mean-Field Variational Inference)

1. Variational Inference (변분추론) 1.1 Variational Inference의 필요성 Variational Inference → 생성 모델을 ...

[Python/파이썬] 백준 2480번 - 주사위 세 개

문제 1에서부터 6까지의 눈을 가진 3개의 주사위를 던져서 다음과 같은 규칙에 따라 상금을 받는 게임이 있다.

생성모델과 VAE

1. 생성모델 개요 1.1 생성모델 개요 Training data가 sampling 된 분포에서 같은 분포의 새로운 sample을 생성하는 model ...

[Python/파이썬] 백준 2440번 - 별 찍기 - 3

문제 첫째 줄에는 별 $N$개, 둘째 줄에는 별 $N-1$개, …, $N$번째 줄에는 별 1개를 찍는 문제

최신 Recsys 동향 및 통계학 기본

1. 최신 Recsys 동향 1.1 추천시스템 최근동향 Recsys 발전방향 Shallow Model 행렬 분해를 ...

[Python/파이썬] 백준 2439번 - 별 찍기 - 2

문제 첫째 줄에는 별 1개, 둘째 줄에는 별 2개, N번째 줄에는 별 N개를 찍는 문제

[Python/파이썬] 백준 2083번 - 럭비 클럽

문제 올 골드 럭비 클럽의 회원들은 성인부 또는 청소년부로 분류된다.

[Python/파이썬] 백준 5337번 - 웰컴

문제 Welcome을 예제 출력처럼 출력하는 프로그램을 작성하시오.

[Python/파이썬] 백준 4999번 - 아!

문제 재환이는 저스틴 비버 콘서트에서 소리를 너무 많이 질러서 인후염에 걸렸다.

[NLP 이론 / RNN] RNN의 문제점 개선: LSTM, GRU

RNN의 문제점과 그 대안 RNN의 가장 큰 문제점: Exploding Gradient / Vanishing Gradient Exploding Gradient ...

[NLP 이론 / RNN] RNN의 문제점: Exploding Gradient(기울기 폭발), Vanishing Gradient(기울기 소실)

RNN의 문제점: Exploding Gradient / Vanishing Gradient RNN의 가장 큰 문제점은 시계열 데이터의 ==장기 의존 관계를 학습하지 못하==는 ...

[NLP 이론 / RNN] 순환 신경망(RNN, Recurrent Neural Network)과 Language Modeling

RNN RNN 개요: “순환하는 신경망” 순환하는 신경망이란? → 반복해서 되돌아가는 신경망 어느 한 지점에서 시작한 것이, 시간이 지나 다시 원래 장소로 되돌아오는 것...

[Python/파이썬] 백준 4101번 - 크냐?

문제 두 양의 정수가 주어졌을 때, 첫 번째 수가 두 번째 수보다 큰지 구하는 프로그램을 작성하시오.

[Python/파이썬] 백준 3003번 - 킹, 퀸, 룩, 비숍, 나이트, 폰

문제 동혁이는 오래된 창고를 뒤지다가 낡은 체스판과 피스를 발견했다.

[ML LifeCycle / 자연어 처리] 추론 기반 기법과 Word2Vec

[Python/파이썬] 백준 2753번 - 윤년

문제 연도가 주어졌을 때, 윤년이면 1, 아니면 0을 출력하는 프로그램을 작성하시오.

[Python/파이썬] 백준 2744번 - 대소문자 바꾸기

문제 영어 소문자와 대문자로 이루어진 단어를 입력받은 뒤, 대문자는 소문자로, 소문자는 대문자로 바꾸어 출력하는 프로그램을 작성하시오.

[Python/파이썬] 백준 2743번 - 단어 길이 재기

문제 알파벳으로만 이루어진 단어를 입력받아, 그 길이를 출력하는 프로그램을 작성하시오.

[Python/파이썬] 백준 2739번 - 구구단

문제 $N$을 입력받은 뒤, 구구단 $N$단을 출력하는 프로그램을 작성하시오. 출력 형식에 맞춰서 출력하면 된다.

[Python/파이썬] 백준 2438번 - 별 찍기

문제 첫째 줄에는 별 1개, 둘째 줄에는 별 2개, $N$번째 줄에는 별 $N$개를 찍는 문제

[Python/파이썬] 백준 2420번 - 사파리월드

문제 사파리월드는 인터넷으로만 존재하는 미스테리한 나라이다. 사파리월드에는 2개의 서브도메인이 seunghwan.royal.gov.sw와 kyuhyun.royal.gov.sw...

Linear Regression 2

경사하강법 1. 경사하강법

Linear Regression 1

1. 선형 회귀 모델

[Python/파이썬] 백준 1247번 - 부호

문제 $N$개의 정수가 주어지면, 이 정수들의 합 S의 부호를 구하는 프로그램을 작성하시오.

Tensor Operations

1. Tensor의 노름

Basic Operations on Tensors

1. Tensor의 모양변경 2 1.1 cat 함수를 활용한 Tensor들 간의 연결 cat vs stack stack : 새로운 차원을 생성해서 T...

[Python/파이썬] 백준 2530번 - 인공지능 시계

문제 KOI 전자에서는 건강에 좋고 맛있는 훈제오리구이 요리를 간편하게 만드는 인공지능 오븐을 개발하려고 한다. 인공지능 오븐을 사용하는 방법은 적당한 양의 오리 훈제 재료를...

Manipulation of Tensors

1.Tensor의 인덱싱과 슬라이싱 1.1 Tensor의 indexing & slicing ⇒ Numpy와 인덱싱, 슬라이싱 방법 유사 Indexing : Ten...

Creating Tensors

1. Tensor의 생성 1.1 특정한 값으로 초기화된 Tensor 생성, 변환 0으로 초기화된 Tensor 생성: zeros 1-D Tensor (...

[Python/파이썬] 백준 1264번 - 모음의 개수

문제 영문 문장을 입력받아 모음의 개수를 세는 프로그램을 작성하시오. 모음은 ‘a’, ‘e’, ‘i’, ‘o’, ‘u’이며 대문자 또는 소문자이다.

Data type & Basic Functions

1. PyTorch의 데이터 타입

PyTorch Intro

1. PyTorch Introduction