https://n.news.naver.com/mnews/article/023/0003982337
조선일보
법률 서비스에 인공지능(AI)을 결합한 한 리걸AI 스타트업의 최고운영책임자(COO) A(43)씨는 매일 아침 출근하자마자 사내 개발자들이 전날 밤 사용한 ‘토큰’ 양부터 들여다본다. 클로드 코드나 챗GPT 코덱스 같은 코딩 생성 AI는 쓰는 만큼 요금이 매겨지는데, 방치하면 비용이 걷잡을 수 없이 불어나기 때문이다. 토큰을 과도하게 쓴 개발자는 따로 불러 개발 내용을 묻는다. A씨는 “놔두면 토큰 비용이 무한정 치솟고, 회사 일이 아닌 개인 사이드 프로젝트에 쓰는 경우도 걸러내야 한다”며 “적절한 수준의 AI를 알맞은 곳에 사용했는지를 확인한다”고 했다.
첨단 AI 에이전트 활용이 늘며 추론 비용이 급증하자 AI 사용에 따른 토큰 양을 적절하게 통제하고, 작업의 목적에 따라 적절한 AI 사용을 배정하는 ‘AI 사용 효율화’가 테크 업계의 주요 트렌드로 자리 잡고 있다. 토큰이란 AI가 글을 읽고 쓸 때 잘게 쪼개 처리하는 최소 텍스트 조각으로, AI 요금은 보통 100만 토큰당 가격이 매겨진다. 이 같은 업무에 맞는 AI 모델을 골라 적정 비용으로 쓰며 효율성을 높이는 것을 가리켜 ‘토크노믹스(토큰 경제학)’라는 말까지 나왔다. 테크 업체들은 그동안 개발자들에게 최대한 많은 토큰 사용을 장려하던 정책을 철회하고 첨단 AI와 그보다 성능이 떨어지는 AI를 적절히 섞어 쓰는 전략을 검토 중이다.
댓글 0