AI31 [260711] 그래픽카드 확장, 일단 새 카드부터 갈아 끼워 테스트했다 두 장을 같이 꽂기 전에 새 카드 안정성부터 확인했고, 예전에 "효과 없다"고 접었던 방법도 다시 꺼내 뒤집었다며칠 전 방향만 정해뒀던 하드웨어 확장을 오늘 진행했고, 예전에 포기했던 아이디어 하나도 다시 꺼내서 뒤집었습니다.그래픽카드 확장, 우선 새 카드부터 갈아 끼워 테스트지금 쓰던 것과 같은 모델의 그래픽카드를 하나 더 구했습니다. 최종 목표는 두 장을 동시에 꽂아서 쓰는 거지만, 오늘은 우선 새 카드로 갈아 끼운 뒤 단독으로 안정성부터 확인했습니다. 전력을 조금 제한한 상태로 부하 테스트를 돌려봤는데, 온도는 기존보다 오히려 낮게 유지됐고, 팬 소음도 줄었고, 속도 저하나 오류도 전혀 없었습니다.두 장을 실제로 같이 꽂는 건 아직인데, 미리 케이스 내부 구조를 확인해보니 두 장이 나란히 들어갈 자.. 2026. 7. 12. [260710] '조용히' 잘못되고 있던 것들을 하루에 세 개 잡았다 생성이 끝없이 폭주하던 문제부터, 아침에 고친 게 저녁에 조용히 속도를 반토막 낸 것까지주말을 끼고 지난 며칠 사이 발견된 것들을 정리하고 마무리한 하루였습니다. 공통점이 하나 있었는데, 셋 다 "겉으로는 티가 안 나게 조용히" 잘못되고 있었다는 겁니다.사고 1: 답변 하나가 끝없이 길어져서 프로덕션이 멈췄다야간 분석 작업 중 하나가 이상하게 정체돼 있는 걸 발견했습니다. 원인을 보니, 로컬 LLM을 돌리는 서버 쪽에 "답변은 최대 이 정도 길이까지만" 하는 상한선이 빠져 있었습니다. 보통은 답변 하나가 짧게 끝나는데, 어쩌다 한 번 모델이 같은 말을 반복하며 멈추지 않고 계속 답변을 만들어내면 수만 토큰, 수십 분까지 폭주할 수 있었던 겁니다. 그동안 감시 체계가 이런 경우를 못 잡고 있었던 게 더 큰.. 2026. 7. 11. [260709] 몇 일째 미스터리였던 새벽 크래시의 진짜 범인을 찾았다 메모리 문제의 진짜 원인을 찾아 고치는 김에, 프로덕션을 실수로 죽여버리기도 한 하루오늘은 몇 주간 미궁이었던 문제 하나를 드디어 근본 원인까지 찾아 고쳤습니다. 다만 그 과정에서 실수도 두 건 겪었습니다.몇 일째 미스터리였던 새벽 크래시, 진짜 범인을 찾았다얼마 전부터 매일 새벽 특정 시각마다 개발 환경이 죽는 문제가 있었습니다(그래서 핵심 프로세스들을 개발 환경과 분리된 별도 서비스로 옮겨두기도 했었는데, 이건 증상 완화였지 원인 해결은 아니었습니다). 오늘 다른 AI와 함께 로그를 더 깊이 파본 끝에 드디어 진짜 원인을 찾았습니다.무거운 데이터 계산을 하는 라이브러리가 다 쓴 메모리를 파이썬 코드 상으로는 분명히 반납했는데, 운영체제 입장에서는 그 메모리가 실제로 회수가 안 되고 있었습니다(메모리 .. 2026. 7. 9. [260708] 요약 모델 말만 믿었다가 실계좌에 취소 안 되는 주문이 남았다 오늘은 새 기능 하나를 안전하게 검증하는 틀을 만드는 게 메인이었는데, 그 과정에서 사고도 두 건 겪었습니다.새 자동투자 기능, 실거래 리스크 0으로 먼저 검증지금 있는 신호강도 자동투자 기능을 확장하는 아이디어가 있었는데, 실제 돈을 걸기 전에 페이퍼(모의) 트랙으로 먼저 오래 검증하는 구조부터 만들었습니다.실제 계좌와 완전히 분리된 장부를 만들어서, 후보 종목 선정은 똑같이 하되 배분 방식만 다른 두 트랙을 나란히 돌립니다. 어느 쪽이 실제로 더 나은지 A/B로 비교하기 위해서입니다.판정 기준을 미리 정해뒀습니다 — 충분히 긴 기간(수개월 단위 거래일) 동안 통계적으로 유의미하게 벤치마크를 이겨야 실제 자금 확대를 검토하고, 못 넘으면 자동으로 폐기합니다. "일단 만들어놓고 언젠가 판단하자"가 아니라.. 2026. 7. 8. [260707] 앙상블의 한 축이 6개월 넘게 완전히 비어있었다 어제는 유독 일이 많았습니다. 하나는 밤사이 발견한 꽤 심각한 사고 복구였고, 나머지는 그 김에 진행한 인프라 개선이었습니다.리서치 파이프라인이 완전히 무근거로 동작하고 있었다멀티에이전트 리서치 파이프라인(여러 로컬 LLM 에이전트가 분석/반박/최종판단을 나눠 맡는 구조)에서, 실제 데이터를 조회해야 하는 단계가 아예 도구 호출 자체를 못 하고 있었습니다. 모델이 "조회하겠습니다"라는 의도만 텍스트로 남기고, 실제로는 아무 데이터도 안 가져온 채 그걸 근거로 리포트를 쓰고 있었던 겁니다. 지난번에 로컬 LLM 3종을 정식 비교했을 때 "이 모델이 제일 깨끗하다"고 결론 냈던 게, 사실은 "실패율/등급분포만 봤지 리포트 안에 실제 데이터가 있는지는 확인 안 했던" 맹점 때문이었다는 게 뒤늦게 드러났습니다... 2026. 7. 8. 260706 작업일지 - 로컬 LLM 3종 비교에서 찾아낸 숨은 실패 패턴들 등급 분포만 봐서는 안 보였던 두 가지 실패 유형, 그리고 프레임워크 마이그레이션으로 잡은 구조화 출력 문제프로젝트 초반이라 하루 단위로 바뀌는 게 많습니다. 매일 올리진 못하겠지만, 굵직한 변화가 있었던 날은 이렇게 짧게 남겨보려고 합니다. 오늘은 세 가지 축으로 작업했습니다.1. 로컬 LLM 3종 정식 비교멀티에이전트 LLM 리서치 파이프라인에 쓸 로컬 모델을 하나 골라야 해서, 후보 3개를 같은 조건(같은 종목 목록, 같은 날짜)으로 순차 실행해서 비교했습니다.비교는 두 단계로 했습니다.자동 확인: 실패율, 최종 등급이 한쪽으로 쏠리는지, 다른 종목명이 섞여 들어오는지, 소요 시간수동 스팟체크: 실제 생성된 글의 완성도, 등급과 근거가 실제로 맞는지 하나씩 열어서 확인여기서 흥미로운 걸 발견했는데,.. 2026. 7. 6. 이전 1 2 3 4 5 6 다음