Archive
전체 글 목록
AI 엔지니어 장하렴 의 모든 글(200개). 연도별로 모아두었습니다.
2026101개
- InferencePrefill-Decode 분리 이후의 문제: KV 캐시 전송 비용은 왜 병목이 되는가
- InferenceFlash Attention은 왜 빠른가: IO-Awareness가 Attention 연산을 바꾼 방식
- InferenceSpeculative Decoding이 throughput을 높이지 못하는 조건: 수락률·배치 크기·메모리 삼각 트레이드오프
- InferenceMoE와 MoT는 무엇이 다른가 — 라우팅 단위가 서빙 구조를 어떻게 바꾸는가
- InferenceLLM 서빙에서 Decode 단계가 Memory-Bound인 이유: Arithmetic Intensity로 GPU 병목을 진단하다
- InferenceLLM 서빙에서 GPU 메모리 단편화는 왜 생기고, 어떻게 측정하는가
- InferenceMixture of Experts와 Mixture of Tokens: 두 희소성 전략은 무엇이 다른가
- InferenceChunked Prefill은 왜 존재하는가: prefill이 decode를 죽이는 구조와 그 해법
- InferenceKV 캐시를 양자화하면 생기는 일: 가중치 양자화와 다른 이유, 다른 함정
- InferencePrefix Caching 실측 해부: TTFT는 줄었는데 throughput은 왜 그대로인가
- InferenceTensor Parallel vs Pipeline Parallel: LLM 분산 추론에서 무엇을 언제 선택해야 하는가
- InferenceLLM 서빙 지연(Latency)을 제대로 측정하는 법: TTFT·TPOT·p99가 왜 따로 움직이는가
- InferenceContinuous Batching vs Static Batching: 처리량 차이는 어디서 오고 언제 역전되는가
- InferenceMixture of Tokens란 무엇인가 — MoE와 비교해서 이해하는 희소 활성화의 두 방향
- InferenceLLM 서빙 스케줄러 해부: 요청이 GPU에 올라가는 순서를 누가, 어떻게 결정하는가
- Inference양자화(Quantization)는 어디서 정확도를 잃는가: W4A16, W8A8, FP8 비교 실측
- LLMMixture of Experts와 Mixture of Tokens, 어떻게 다르고 언제 쓰는가
- InferenceKV 캐시 메모리 계산법: 컨텍스트 길이와 배치가 부딪히는 지점을 직접 계산해보다
- InferenceLLM 서빙의 두 가지 병목: Prefill과 Decode를 분리해야 하는 이유
- InferencePrefill-Decode 분리 서빙: 왜 하나의 GPU 풀로 두 단계를 같이 돌리면 손해인가
- LLM트랜스포머(Transformer) 따라가기 2.7탄. RoPE 편
- LLM트랜스포머(Transformer) 따라가기 2.5탄. Sinusoidal Positional Encoding 편
- LLM트랜스포머(Transformer) 따라가기 2탄. 임베딩 편
- LLM트랜스포머(Transformer) 따라가기 1탄. 토크나이저 편
- Train & Tune도메인 특화 Fine-Tune은 왜 실패하는가
- InferenceSpeculative Decoding 실무 적용 사례: 초보자를 위한 서빙 실험과 운영 체크리스트
- InferenceSpeculative Decoding 적용 방법: Draft Model, Medusa, EAGLE, 모델별 특징 정리
- InferenceSpeculative Decoding 핵심 원리: LLM은 왜 여러 토큰을 한 번에 생성할 수 있을까
- Inferencepaged-attention은 도대체 뭘 최적화 하는 것일까
- AIClaude Skills는 왜 Agent에게 필요한가
- Inference'안녕하세요 반갑습니다'로 배우는 vLLM — KV Cache와 PagedAttention 완전 해부
- InferencevLLM 완전 입문 — 설치부터 OpenAI 호환 API 서빙까지 한 번에
- InferencevLLM 0.21.0 서빙 가이드 2편 — H200 두 장에 세 모델 동시 올리기
- InferencevLLM 0.21.0 서빙 가이드 — 모델 유형별 vllm serve 인자 정리
- DevLive2D 무료 모델 완전 정복 — 공식부터 커뮤니티까지
- Cladue CodeAI 엔지니어와 알아보는 Claude Code 공략집 - 3편
- Cladue CodeAI 엔지니어와 알아보는 Claude Code 공략집 - 2편
- Cladue CodeAI 엔지니어와 알아보는 Claude Code 공략집 - 1편
- Doc-ProcessingPDF 편집 구축기 - 3편
- Doc-ProcessingPDF 편집 구축기 - 2편
- FrontendNext.js Turbopack 정리하기
- STT & TTSSTT시리즈: 연속된 음성처리는 도대체 뭘 어떻게 해야할까 (2)
- STT & TTSSTT시리즈: 음성 노이즈는 도대체 뭘 어떻게 해야할까 (1)
- AlgorithmTransformer: Next Token Prediction을 넘어
- AlgorithmSinusoidal Positional Encoding
- Doc-ProcessingPDF 편집 구축기 - 1편
- VtuberAI VTuber 에이전트 구축기 8편: 운영
- VtuberAI VTuber 에이전트 구축기 7편: 방송 연동
- VtuberAI VTuber 에이전트 구축기 6편: Live2D
- VtuberAI VTuber 에이전트 구축기 5편: TTS
- VtuberAI VTuber 에이전트 구축기 4편: STT
- VtuberAI VTuber 에이전트 구축기 3편: 메모리
- VtuberAI VTuber 에이전트 구축기 2편: LLM과 페르소나
- VtuberAI VTuber 에이전트 구축기 1편: 개요
- InferenceOmniVoice 추론 최적화: Voice TTS 모델을 어떻게 빠르게 만들 수 있을까
- InferenceLLM 추론 최적화 기법 개론: 더 빠르고, 더 싸게, 더 멀리
- InferenceTTS Inference 톺아보기 — 2편: 스트리밍 추론의 병목 해부
- InferenceTTS Inference 톺아보기 — 1편: OmniVoice 도입기
- InferencevLLM으로 LLM 서빙하기
- AgentGeny-Harness Engineering: 나만의 비서를 만들어보자
- AgentHarness Engineering: 기계식 기억 방법 - 2
- AgentHarness Engineering: 기계식 기억 방법
- AgentHarness Engineering: 에이전트의 시대가 온다(진짜임)
- AgentHarness Engineering: 가볍게 살펴보기
- Infra[Cloudflare] 터널링으로 서브도메인 서빙하기 -part3-
- Infra[Cloudflare] 터널링으로 서브도메인 서빙하기 -part2-
- Infra[Cloudflare] 터널링으로 서브도메인 서빙하기
- Dev무료 에셋 사이트 정리
- Devhrletsgo.me 블로그 개편
- FrontendReact Markdown 렌더링 시스템 - 코드 하이라이팅과 Mermaid 다이어그램
- BackendPostgreSQL + SQLAlchemy ORM - 데이터베이스 설계와 마이그레이션
- InfraNginx 리버스 프록시 완벽 가이드 - SSL, WebSocket, API 라우팅
- BackendMinIO Object Storage 연동 - S3 호환 이미지 저장소 구축
- InfraDocker Compose로 개발/프로덕션 환경 분리하기
- FrontendD3.js Force Graph로 문서 간 관계 시각화 구현하기
- GenyClaude Control: 클로드 멀티 세션 관리 시스템 개발기
- Geny삭제된 세션 관리 기능 구현 - 세션 복구 시스템
- AIQA 문서 검증 자동화 시스템 개발기
- Geny서브 Config 조직 정책과 KakaoTalk 챗봇 연동
- Geny매니저 대시보드와 로그 관리 시스템
- GenyClaude Control 설정 관리 모듈 개발
- GenyAutonomous Graph - 난이도 기반 태스크 실행 그래프
- GenyAgentSessionManager 구현 - 세션 생명주기 관리
- GenyClaudeCLIChatModel과 LangGraph 통합기
- Geny프롬프트 관리 시스템 - 동적 로딩과 커스텀 프롬프트
- Geny매니저-워커 패턴 구현 - 세션 간 오케스트레이션
- Geny자율 실행 모드 구현 - Self-Managing Agent
- GenyRedis를 활용한 멀티 팟 K8s 세션 관리
- GenyMCP(Model Context Protocol) 자동 로딩 시스템 구현
- Geny세션 로깅 시스템 구축 - 중앙 명령 체계
- GenyClaude Control 웹 UI 대시보드 개발
- GenyRedis 기반 세션 상태 공유 구현기
- GenyClaude Control 개발 시작 - 멀티세션 Claude 관리 시스템
- ContextifierContextifier PyPI 배포
- Agentyoungjin-langchain-tools - Streamlit용 LangGraph 핸들러 개발기
- ContextifierContextifier RTF/DOCX 핸들러 - 테이블 스트리밍 처리 구현기
- ContextifierContextifier 청킹 전략 - 문서를 의미 있는 단위로 나누기
- ContextifierContextifier HWP/HWPX 처리기 - 한글 문서의 벽을 넘다
- ContextifierContextifier OCR 모듈 - 멀티 프로바이더 OCR 엔진 구현기
- ContextifierContextifier PDF 핸들러 - 테이블 감지부터 텍스트 품질 분석까지
- ContextifierContextifier - 문서를 AI가 이해할 수 있는 형태로 변환하다
202576개
- XgenMCP 프로토콜 생태계 분석 - 서버/클라이언트 아키텍처 심층
- InfravLLM + VastAI로 커스텀 LLM 서빙 - GPU 클라우드 활용기
- XgenMCP Station: MCP 서버 관리 시스템 개발기
- XgenMCP Station에서 JSON-RPC over stdio 프로토콜 구현
- XgenMCP Station - MCP 서버 라우팅 시스템 개발기
- BackendDjango 백엔드 - LangChain SSE 스트리밍과 의존성 지옥
- FrontendNext.js 15 + Turbopack 실전 가이드 - App Router와 성능 최적화
- Xgen노드 파라미터 편집 모달 개발 - 동적 폼 구현
- FrontendThinkBlock 컴포넌트 - AI 추론 과정 시각화
- XgenXGen 브랜딩 변경기 - Prague에서 XGen까지
- Train & TunePOLAR Trainer: 다중 학습 프레임워크 개발기
- Train & Tunepraque_trainer - MLflow 연동 모델 트레이닝 모듈 개발기
- BackendSSE(Server-Sent Events) 스트리밍 패턴 - FastAPI에서의 실전 구현
- InfraGitHub Actions CI/CD 파이프라인 구축기
- InfraSSE 연결 끊김 처리 - 안정적인 스트리밍을 위한 Bug Fix
- FrontendAI 챗봇 인터페이스 구현 - SSE 스트리밍과 자동 스크롤
- FrontendESLint + Prettier + Husky - 팀 코드 품질 자동화 구축기
- XgenBatchTester 자동화 테스팅 도구 개발기
- XgenDeploy API 구현 - 프로덕션 워크플로우 배포 시스템
- FrontendTauri + Vite로 데스크톱 게임 만들기 - 실험 프로젝트
- XgenXGen 설정 시스템 - 동적 ConfigViewer 컴포넌트 구현
- FrontendWorkflow 관리 시스템 - 저장, 로드, 실행, 모니터링 구현기
- AIHormAS: 호텔 리뷰 감성 분석 시스템 개발기
- XgenVLLM 모델 서빙 관리 API 개발
- Xgen챗봇 임베드 위젯 개발 - 외부 사이트 연동
- XgenDeploy 모드 구현 - 프로덕션 워크플로우 배포
- Train & Tune모델 트레이닝 파이프라인 백엔드 구축 - SFT, DPO, LoRA
- Xgen에이전트 노드 구현 - LLM 기반 자율 실행 시스템
- BackendFastAPI 프로젝트 구조 베스트 프랙티스 - 실전 경험 기반
- Frontend캔버스 에디터 - Edge 스냅과 Bezier Path 렌더링 심층 구현
- XgenVast.ai GPU 인스턴스 관리 시스템 구축기
- InfraDocker GitOps 패턴 - 컨테이너 기반 배포 자동화 실험
- XgenOCR 통합 - OpenAI/Anthropic Vision API 활용
- DevStreamlit 위성 이미지 분류기 - 3D 시각화 앱 개발
- Xgen워크플로우 병렬 실행 엔진 구현
- XgenVLLM 모델 서빙 통합 - Qwen3, Gemma3 지원
- Algorithm르장드르 다항식과 르장드르 근사
- XgenVastAI GPU 인스턴스 관리 API 개발기
- Algorithm몬테카를로 트리 서치(Monte Carlo Tree Search)
- XgenML 모델 트레이닝 페이지 개발기 - SFT, DPO, LoRA 설정 UI
- InfraPolaRAG - Docker Compose 기반 RAG 시스템 인프라 구축
- Xgen사용자 인증 시스템 구축 - OAuth 소셜 로그인 통합
- XgenMinIO 스토리지 통합 - 파일 업로드/관리 시스템
- Agentprj_mcs - Multi-Channel Service AI 시스템 설계
- XgenRedis 세션 관리 구현기 - 동시 접속 처리
- XgenPostgreSQL + SQLAlchemy 모델 설계 - 워크플로우 데이터 구조
- Frontend매니지먼트 센터 대시보드 개발
- AgentRGA 프로젝트 - Retrieval-Generation-Augmentation 실험
- DevSSE 스트리밍 응답 구현 - FastAPI에서 실시간 데이터 전송
- Xgen워크플로우 실행 엔진 프론트엔드 연동기
- Xgen노드 기반 아키텍처 설계 - ChatOpenAI, VectorStore, Agent 노드
- InfraQdrant 벡터 DB로 RAG 시스템 구축하기
- Frontend실시간 채팅 UI with SSE 스트리밍 구현기
- AlgorithmFastAPI에서 위상정렬(Topological Sort) 활용하기
- Backend캔버스 노드에디터 백엔드 구현 - 위상정렬 기반 워크플로우 실행기
- EmbeddingRAG 시스템을 위한 임베딩 모델 선택 완벽 가이드
- AgentGraphRAG - 그래프 기반 RAG 시스템 실험 기록
- EmbeddingEmbedding Is All RAG Need: RAG 임베딩 최적화 실험
- EmbeddingEmbedding Is All RAG Need - MTEB 벤치마크와 임베딩 모델 비교
- BackendXGen 백엔드 아키텍처 설계 - FastAPI 기반 AI 플랫폼
- EmbeddingEmbedding 모델과 Sentence-Transformer Training
- XgenLLM 노드 설계 - ChatOpenAI, ChatAnthropic 통합
- LangChainLangGraph로 복잡한 AI 워크플로우 구현하기
- FrontendReact Flow 기반 노드 에디터 아키텍처 설계
- LangChainLangChain Code Interpreter + BigQuery 연동 실전기
- AICUDA를 넘어: DeepSeek
- LangChainLangChain 프로젝트에서 환경변수 관리 리팩터링
- Xgen비주얼 캔버스 에디터 개발기 - 드래그앤드롭 노드 시스템 구축
- AIDeepSeek 살펴보기
- EmbeddingECeLLM: 이커머스 도메인 임베딩 모델 학습기
- LangChainLangChain으로 웹 브라우징 에이전트 만들기 - chap9 학습기
- FrontendNext.js 15 + Turbopack 도입기 - 빠른 빌드의 시작
- LLMCustom Model Training을 위한 Hugging Face Trainer 구조 파악하기
- XgenXGen 플랫폼 소개
- EmbeddingCrossEncoder Reranker 구현 - 검색 정확도를 한 단계 끌어올리다
- EmbeddingSentenceTransformer NLI 학습 - 임베딩 모델 미세조정 과정
202420개
- Dev쿠팡 상품 데이터 스크래핑 - 데이터 수집 자동화
- Train & TuneLLM 기반 상품 카테고리 자동 분류 시스템
- LLMDeBERTa: Decoding-enhanced BERT with Disentangled Attention 느낌만 맛보기
- LLMeCeLLM 논문 리뷰: Instruction Tuning for E-Commerce (Data Example 추가)
- Embedding커스텀 임베딩 모델 학습 - E-Commerce LLM 프로젝트 시작
- AgentDSPy(Declarative Self-improving Language Programs, pythonically)
- AgentLangGraph & GraphRAG: 그래프 기반 AI 탐구
- LLM이커머스 카테고리 분류를 위한 프롬프트 엔지니어링 기법들
- AgentGraph Retrieval Augmented Generation(Graph-RAG) 톺아보기
- LLMMamba: Linear-Time Sequence Modeling with Selective State Spaces / Non-Attention 기반의 Sequence Model에 대한 접근
- Train & Tune카테고리 분류 LLM 프로젝트 - 이커머스 상품 자동 카테고리 매핑
- LangChain[LangGrpah] 4. LangGraph를 이용한 RAG 및 검색 Agent 개발
- LangChain[LangGrpah] 3. Chain과 Agent를 이용한 Workflow 구현 - 쿼리 추출 모델
- LangChain[LangGrpah] 2. LangGrpah(랭그래프)의 핵심 요소의 개념적 이해
- LangChain[LangGrpah] 1. LangGrpah(랭그래프)를 이용한 AI Workflow 관리하기
- AgentMagentic-One : 새로운 Agent 프레임워크
- LLM[LLM]Mixture of Experts(MoE)
- LLM[LLM] 자기 추론 프레임워크
- LLM[논문 리뷰]Better & Faster Large Language Models via Multi-token Prediction
- InfraDocker는 도대체 어떻게 생태계를 장악하고 있는 것일까?