if(kakao)25 Krew Day AI 패널톡: AI 시대의 개발, 인프라, 전략 (외부 연사 초청 세션)

if(kakao)25 Krew Day의 오후 세션으로 진행된 AI 패널톡은 외부 전문가와 함께 AI 시대의 개발 패러다임 변화, 인프라 구축의 도전, 그리고 기업 전략의 변화에 대해 심층적으로 논의하는 특별한 시간이었습니다. 카카오 정규돈 CTO(gd.re)가 사회를 맡아 진행되었으며, AI 인프라 플랫폼 전문가들이 참여하여 인사이트를 공유했습니다.

[참여 연사]

• 진행 : 정규돈 (gd.re) 카카오 CTO
• 패널 : brad Google Search Engineering Head 신정규 래블업(lablup) 대표 robin 카카오테크 AI 네이티브 전략팀

Q. 래블업(lablup)에서 개발하신 '백엔드.AI’는 구체적으로 어떤 역할을 하는 AI 인프라 플랫폼인가요?

신정규 : 백엔드.AI는 오케스트레이션 및 스케줄링 레이어를 통합하여 컨테이너 기반으로 GPU 자원을 효율적으로 관리하는 솔루션입니다. 쿠버네티스가 없던 시절부터 시작한 기술력을 바탕으로, 디바이스 드라이버 가상화부터 시스템 콜 후킹, 컨테이너 솔루션 레이어, MLOps, 인퍼런스 레이어까지 수직 계열화된 스택을 갖춘 것이 특징입니다. 이 수직 계열화를 통해 유저 리퀘스트 레벨의 피드백을 시스템 콜 레벨까지 내려서 워크로드의 최적화와 다양한 스케줄링이 가능하게 됩니다.

Q. AI 인프라 구축 시, 하드웨어 컨트롤이 중요한 이유와 그 어려움은 무엇인가요?

신정규 : LLM 시대에는 하드웨어, 특히 GPU 스펙에 따라 모델 성능이 달라지는 현상이 발생합니다. 래블업은 PTX 레이어까지 깊숙이 관여합니다. 엔비디아 GPU는 디바이스별로 PTX가 다르게 나오며, 컴퓨트 캐퍼빌리티(Compute Capability, CC) 버전도 다양합니다. 심지어 텐서 코어와 일반 코어의 정밀도 차이로 인해 똑같은 계산에도 결과가 다르게 나올 수 있는 비결정성(Non-Deterministic) 문제까지 발생하기 때문에 하드웨어 제어가 매우 중요해졌습니다.

• PTX : 개발자가 CUDA로 작성한 코드를 컴파일하면 나오는 중간 단계의 코드(결과물)

• CUDA : 엔비디아가 만든 병렬 컴퓨팅 플랫폼이자 프로그래밍 모델로 개발자들이, 수백, 수천 개의 GPU 코어를 활용해 AI 모델 학습이나 데이터 처리처럼 대규모 연산을 동시에 수행할 수 있도록 해주는 도구이자 언어

Q. 최근 어려움을 겪었던 구글이 다시 'AI는 구글’이라는 평가를 받게 된 동력은?

brad : 구글 내부는 원래 각 팀이 독립적으로 다양한 프로젝트를 진행하는 점 조직 형태였습니다. 당시에도 LLM과 비슷한 기술들을 내부적으로 많이 만들고 있었습니다. 위기 이후, ‘AI 퍼스트’ 전략을 강력하게 추진하며 모든 조직이 AI 관련 프로젝트를 경험하고 만들도록 집중했습니다. 내부적으로는 많은 조직 개편과 혼란이 있었지만, 엔지니어들이 재미있는 것을 만들 수 있는 환경을 조성한 것이 주효했습니다. 엔지니어들의 '낭비’가 다음 도약을 위한 기반이 되었다고 봅니다.

Q. ChatGPT 등장 이후, 구글 검색의 트래픽은 실제로 감소했나요? 그리고 AI 시대의 검색은 어떻게 진화하고 있나요?

brad : ChatGPT 등장 이후에도 검색 트래픽은 계속 늘고 있습니다. 검색 서비스의 핵심은 사용자에게 새로움을 계속 제공하는 것입니다. 저희는 폰트 하나, 1ms의 응답 시간 단축을 위해 엄청난 노력을 기울입니다. 구글의 ‘AI 개요(AI Overviews)’는 검색 결과에서 얻은 정보를 LLM이 요약하고 재구성하여 답변을 제공하는 형태입니다. 즉, 검색은 LLM의 답변을 위한 '재료’를 제공하고, LLM은 '아주 좋은 인턴’처럼 요약과 재구성을 통해 답변을 제공하는 구조입니다.

Q. 사내용 AI 검색 시스템 구축 시, 시의성 있는 답변을 제공하기 위한 팁이 있다면?

brad : 데이터 공유와 유통에 대한 두려움을 없애는 것이 중요합니다. LLM이 정제를 담당하도록 해야 합니다. 문서, CL(Change List), 회의록 등 정제되지 않은 원본 데이터를 최대한 많이 LLM이 접근할 수 있도록 하는 것이 중요합니다. LLM이 알아서 정제하고 변형할 수 있으니까, 데이터의 중요도를 인간이 미리 판단하여 제한하는 것은 LLM의 능력을 제약하는 것이라고 볼 수 있습니다.

Q. AI 네이티브 시대, 개발자들은 어떤 마인드와 태도를 가져야 할까요?

신정규 : 변화를 먼저 받아들이고 계속 따라가야 합니다. 올해 말이 되면 코딩의 70~80%를 AI가 대체할 것이라는 전망이 나왔고, 현재 40% 정도가 AI로 대체되고 있습니다. IDE의 존속 여부까지 논의될 정도로 개발 환경은 급변하고 있습니다.

핵심은 내가 다루는 AI 모델의 능력을 기준으로 로드맵을 세우고 커뮤니케이션하는 것입니다. 개발자는 더 이상 코딩하는 사람이 아니라 ‘팀장’ 또는 '오케스트레이터’가 됩니다. AI 에이전트들을 병렬로 활용하고 오케스트레이션하는 역할로 바뀌는 것입니다.

이 변화는 피할 수 없는 정해진 미래입니다. 걱정하거나 두려워하는 대신 '내가 먼저 하자’는 생각으로 계속 새로운 툴과 방법을 시도해 봐야 합니다.

Q. AI_TOP_100의 시스템 개발 시, AI 네이티브 팀의 워크플로우를 소개해주신다면?

robin : 저희는 폭포수 모델 대신 POC 기반으로 프로젝트를 진행했습니다. 각 멤버가 AI 도구를 활용해 시스템을 ‘혼자’ 만든다는 가정 하에 각자 POC를 진행했습니다. 그 결과를 모아 리뷰하는 과정을 통해 세부 기획서 없이 코드로 구현된 모든 기능이 나왔고, 적합한 POC들을 합쳐 시스템을 완성했습니다.

무엇보다 개발 프로세스 변화가 컸습니다. 상세 기획 단계가 POC와 구현(Implementation)으로 단축되었고, 디자인(Figma) 결과물도 AI 툴을 통해 바로 HTML로 변환하는 등 구현 속도가 극도로 빨라졌습니다. 동시에 스펙 주도 개발(Specification-Driven Development) 방식을 새롭게 실험했습니다. 기능을 추가할 때 코드를 직접 작성하기보다는, 일관된 결과물을 보장하는 프롬프트를 작성(문서화)하고 AI에게 기능을 추가하도록 요청하는 방식으로 개발 방식이 완전히 바뀌었습니다.

Q. 협업 과정에서 가장 중요한 요소는 무엇이라고 생각하시나요?

robin : 빠른 의사결정입니다. 개인들은 각자 ChatGPT, Gemini 등의 AI 파트너를 들고 와서 “내 AI가 A가 좋다던데요?” 와 "제 AI는 B가 좋다던데"와 같은 의견 충돌이 빈번해질 것입니다. 이를 조율하고 빠르게 판단을 내릴 수 있는 시니어 엔지니어의 경험과 신속한 의사 결정 프로세스가 조직 차원의 협력 비용을 줄이는 데 결정적인 역할을 하지 않을까 예상합니다.

패널들의 마지막 메시지: 엔지니어의 미래는 밝다!

신정규 : AI 활용은 이제 레버리지가 아닌 디폴트가 될 것입니다. 중요한 것은 이 잠시 동안의 레버리지를 어떻게 활용할 것인가입니다. 우리의 일자리는 줄어들지 않을 것입니다. 왜냐하면 우리는 AI로 해결할 수 있는 문제보다 더 많은 새로운 문제를 만들어 내는 특수한 능력이 있는 종족이기 때문입니다. 결론적으로 우리의 미래는 밝습니다.

brad : AI를 쓰는 것은 차를 사는 것처럼 당연한 일이 될 것입니다. 핵심은 더 작은 단위의 팀을 만들고, 작은 팀에서 더 큰 것을 만들 수 있도록 실험하는 것입니다. 작은 단위의 커뮤니케이션을 어떻게 잘할지 고민하며 생산성(Productivity)을 높이는 데 집중해야 합니다. 문제는 항상 존재하며, 우리는 그 문제를 찾아 나가는 역할을 계속할 것입니다.

AI 패널톡을 마무리하며 엔지니어들에게 전하는 마지막 메시지는 “괜찮다”였습니다. 그리고 그들은 이제 엔지니어가 단순히 코드를 짜는 사람을 넘어, AI라는 강력한 레버리지를 활용하는 존재로 진화해야 한다고 강조합니다. AI는 우리에게 더 가치 있고 복잡한 문제 해결에 집중할 수 있는 자유를 주었습니다. 이 변화를 두려워하지 않고 선도하는 엔지니어가 바로 AI 네이티브 시대의 진정한 혁신가가 될 것입니다.