토큰을 줄이는 방향으로 다시 돌아오는 이유
토큰을 줄이는 방향으로 다시 돌아오는 이유
AI 업계의 흐름을 보면 한 가지 흥미로운 패턴이 보인다.
결국 다시 “토큰을 절약하는 방향” 으로 돌아온다는 점이다.
초기에는 분위기가 달랐다.
젠슨 황(NVIDIA CEO)이 “토큰을 많이 써야 한다”는 방향성을 제시하면서,
여러 기업들이 경쟁적으로 더 많은 토큰을 사용하는 쪽으로 움직였다.
하지만 실제로 사용해보면 금방 알게 된다.
토큰을 많이 쓴다고 해서 결과의 품질이 반드시 좋아지는 것은 아니다.
자동화를 해보면 느끼는 문제
나 역시 다양한 자동화 작업을 구성하면서 비슷한 경험을 했다.
AI에게 많은 권한을 주고,
여러 단계를 자동으로 처리하게 만들면 처음에는 효율적일 것 같지만…
문제가 하나 생긴다.
- AI가 내가 모르는 작업까지 너무 많이 처리해버린다
- 결국 내가 다시 전체 결과를 검토해야 한다
- 예상보다 검증 비용이 커진다
결론적으로,
시간이 절약되는 게 아니라 오히려 다시 확인하는 시간이 추가된다.
그래서 느낀 것: 과한 자동화는 독이 된다
최근 유행하는 개념들—
- 하네스(harness)
- 루프 엔지니어링(loop engineering)
- 멀티 에이전트 자동화
이런 구조들도 직접 써보면 생각보다 효율이 애매하다.
이유는 단순하다.
사람이 완전히 통제하지 못하는 시스템은 결국 다시 사람이 개입해야 하기 때문이다.
그래서 현재 기준으로 가장 현실적인 방식은 다음에 가깝다:
- 사람이 명확하게 지시한다
- AI가 즉시 결과를 반환한다
- 사람이 빠르게 피드백을 준다
- 컨텍스트 엔지니어링으로 품질을 조정한다
즉,
“완전 자동화”보다 “빠른 인터랙션”이 더 효율적이다.
기술 발전 vs 인간의 한계
여기서 더 근본적인 생각이 든다.
컴퓨터는 지난 100년 동안 거의 지수 함수적으로 발전해왔다.
하지만 인간의 입력 방식은 어떨까?
- 여전히 키보드
- 여전히 마우스
입력 인터페이스는 거의 변하지 않았다.
이건 꽤 중요한 신호다.
기술은 계속 빨라지는데, 인간의 처리 속도는 그대로다.
AI 시대의 불균형
AI는 점점 더 많은 일을 처리할 수 있게 되었지만,
그 결과를 이해하고 검증하는 주체는 여전히 인간이다.
문제는 여기서 발생한다.
- AI의 처리 능력은 급격히 증가
- 인간의 이해 속도는 제한적
- 결국 병목은 인간
그래서 요즘은 이런 생각이 든다.
“AI가 발전한 게 아니라, 인간이 더 이상 따라가지 못하는 단계에 들어온 게 아닐까?”
결국 중요한 것
앞으로 중요한 건 더 많은 토큰도,
더 복잡한 에이전트 구조도 아니다.
오히려 다음이 더 중요해진다:
- 얼마나 명확하게 지시할 수 있는가
- 얼마나 빠르게 검증할 수 있는가
- 얼마나 적은 비용으로 반복할 수 있는가
결국 다시 돌아온다.
“간결한 입력 + 빠른 피드백 + 적절한 컨텍스트”
이게 지금 시점에서 가장 현실적인 AI 활용 방식이다.
backtodev
40대 PM, 다시 개발자로 돌아갑니다. 실패하고 배우며 성장하는 기록.