커스텀 모델
커스텀 모델은 기본 LLM 위에 구축된 AI 어시스턴트입니다. 지식 베이스로 강화하고, 툴을 연결하고, 시스템 프롬프트를 설정하고, 팀과 공유하세요.
커스텀 모델이란?
커스텀 모델은 다음을 결합합니다:
- 기본 LLM — 기반 모델 (GPT-4, Ollama, Claude 등)
- 시스템 프롬프트 — 행동과 개성을 정의하는 지침
- 지식 베이스 — 정확한 답변을 위한 문서
- 툴 — 기능을 확장하기 위해 모델이 호출할 수 있는 함수
- 접근 제어 — 공개 여부 (모든 사용자 또는 그룹으로 제한)
사전 조건: 연결 설정
모델을 생성하기 전에 관리자가 글로벌 설정 → 연결에서 최소 하나의 LLM 연결을 구성해야 합니다.
각 연결에는 다음이 필요합니다:
- 공급자 URL — API 엔드포인트
- API 키 — 인증 토큰
- 사용 가능한 모델 — 해당 공급자에서 사용할 모델
구성이 완료되면 커스텀 모델 생성 시 모델 선택기에 모델이 표시됩니다.
커스텀 모델 보기
- 워크스페이스 → 모델로 이동
- 접근 가능한 모든 커스텀 모델이 표시됩니다
각 모델은 다음을 표시합니다:
- 이름 — 채팅 모델 선택기의 표시 이름
- 지식 — 연결된 지식 베이스 태그
- 소유자 — 모델을 만든 사람
- 상태 — 활성 (사용 가능) 또는 비활성 (숨김)
- 기본 LLM — 기반이 되는 공급자 모델
커스텀 모델 만들기
1단계: "모델 추가" 클릭
모델 페이지의 "+ 모델 추가" 버튼을 클릭하세요.
2단계: 기본 정보 입력
입력:
- 모델 이름 — 사용자에게 표시되는 이름
- 설명 — 모델의 역할 또는 전문 분야
3단계: 기본 LLM 선택
LLM 모델을 클릭하여 선택:
사용 가능한 모델은 다음에 따라 달라집니다:
- 구성된 연결
- 해당 연결에서 활성화된 모델
- 관리자 설정
4단계: 시스템 프롬프트 설정
모델의 행동을 정의하는 시스템 프롬프트 입력:
You are a helpful HR assistant. Answer questions about
company policies, benefits, and employee procedures.
Always cite the policy document in your response.
이 프롬프트는 모든 대화 시작 시 포함됩니다.
팁: 비워두면 모델의 기본 시스템 프롬프트가 사용됩니다.
5단계: 지식 베이스 연결
**"+ 지식 추가"**를 클릭하여 하나 이상의 지식 베이스 선택:
지식 베이스가 연결되면:
- 모든 쿼리에 하이브리드 검색 수행
- 관련 청크가 모델 컨텍스트에 삽입됨
- 모델이 소스 문서를 인용할 수 있음
6단계: 툴 연결 (선택 사항)
**"+ 툴 추가"**를 클릭하여 모델이 호출할 함수 선택:
툴은 모델 기능을 확장합니다:
- 실시간 데이터 가져오기
- 계산 수행
- 외부 시스템과 상호작용
7단계: 공개 여부 및 접근 설정
이 모델을 사용할 수 있는 사람을 선택:
| 공개 여부 | 접근 가능한 사람 |
|---|---|
| 공개 | 시스템의 모든 사용자 |
| 비공개 | 지정된 그룹만 |
비공개인 경우 접근 그룹을 클릭하여 사용 가능한 그룹 선택.
8단계: 기능 설정
선택적 기능 토글:
- 파일 업로드 — 사용자가 문서를 첨부할 수 있도록 허용
- 인용 — 소스 문서 참조 표시
9단계: 모델 저장
만들기를 클릭하여 저장. 모델이 즉시 승인된 사용자에게 제공됩니다.
모델 편집
모델을 수정하려면:
- 모델 행의 편집 클릭
- 설정 변경
- 업데이트를 클릭하여 저장
변경 가능한 항목:
- 이름, 설명, 시스템 프롬프트
- 연결된 지식 베이스 및 툴
- 기능 및 공개 여부
- 접근 그룹
변경 불가능한 항목:
- 기본 LLM (대신 다른 모델 선택)
지식이 있는 모델 성능
하이브리드 검색 작동 방식
모델에 지식 베이스가 연결된 경우:
- 쿼리 생성 — 질문이 여러 쿼리로 다시 작성됨
- 이중 검색 — 다음 두 가지를 사용하여 검색:
- 벡터 검색 — 시맨틱 유사성 (질문의 의미)
- BM25 검색 — 키워드 매칭 (사용된 정확한 용어)
- 랭킹 — 결과가 관련성에 따라 결합 및 순위 지정
- 리랭킹 (선택 사항) — 리랭커 모델이 정확도를 위해 결과 재점수
- 컨텍스트 삽입 — 상위 청크가 LLM 컨텍스트에 삽입됨
이 이중 접근 방식은 순수 벡터 검색이 놓치는 문서를 찾아냅니다.
검색 조정
소스가 관련 없어 보이면 확인:
- 지식 베이스 청킹 전략 — 콘텐츠가 적절하게 분할됨?
- 지식 베이스 Top K 설정 — 검색할 청크 수
- 지식 베이스 BM25 가중치 — 벡터와 키워드 검색 간 균형
- 지식 베이스 리랭킹 모델 — 활성화됨?
샘플 쿼리로 설정을 테스트하려면 플레이그라운드를 사용하세요.
고급 설정
커스텀 프롬프트 (모델별)
이 모델의 글로벌 프롬프트 재정의:
- 툴 함수 호출 프롬프트 — 툴 선택 지침
- 쿼리 생성 프롬프트 — 검색을 위해 사용자 쿼리를 다시 작성하는 방법
글로벌 기본값을 사용하려면 비워두세요.
비활성 모델 관리
상태 토글:
- 활성 — 채팅 모델 선택기에 모델 표시
- 비활성 — 모델 숨김; 기존 채팅은 계속 작동
기존 대화를 중단하지 않고 이전 모델을 폐기하는 데 사용하세요.
문제 해결
모델이 일반적인 답변 반환
원인: 지식 베이스가 연결되지 않았거나 관련 콘텐츠가 없음.
해결 방법: 모델 설정을 확인하여 지식 베이스가 목록에 있는지 확인. 해당 지식 베이스에 관련 문서를 업로드하세요.
검색된 소스가 관련 없음
원인: 청킹 또는 검색 설정이 문서와 맞지 않음.
해결 방법: 플레이그라운드를 사용하여 다른 청킹 전략과 검색 파라미터를 테스트하세요.
모델 응답이 너무 느림
원인: 리랭킹이 활성화되어 응답 시간이 느려짐.
해결 방법: 지식 베이스 설정에서 리랭킹을 비활성화하거나 Top K를 줄이세요.
사용자가 모델을 볼 수 없음
원인: 모델이 비공개로 설정되었고 사용자가 승인된 그룹에 없음.
해결 방법: 모델을 공개로 만들거나 사용자 그룹을 접근 목록에 추가하세요.
다음 단계: