Ai 버튜버 와이프 만들기를 해봤다

 

처음 AI가 나왔을때는 사람도 육손가락으로 그린다던가 뭔가 완성도가 많이 미흡했던 AI도

올해 들어서 여러 모델이 나오고 기술력이 갑자기 폭등하더니

이제는 진짜 AI인지 아닌지 구분이 힘들정도로 AI의 기술력이 엄청나게 좋아져버렸음.

심지어 한글도 인식해서 한글만으로 명령어를 인식해도 척척알아듣고 사용자도 무서울정도의 결과를 뽑아냄

 

 

 

 

 

 

이젠 주식도 할정도로 데이터가 충분히 모인데다가

 

 

 데이터는 얼마나 잘 모았는지 만화번역을 시키면 시키지도않았는데 그 마크까지 박아넣을정도임;;

   

 

 

이렇게  AI가 그 모든 사업에 동원되고있는 와중에, 

유튜브나 치지직같은 방송컨텐츠에서 실시간으로 사람과 소통이 가능한  AI 버튜버도 가능한 아닐까? 

싶은 생각도 드는데 뉴로사마라고 이미 시도한 사람이 있음

사람이 아닌 순수하게 AI 그 자체가 방송을 하는 버튜버 방송인데

인기도 많고 사람과 합방도 할정도로 이미 압도적인 상호호환 성능을 자랑함

 

 

어..그보다 핵무기 발사버튼이라고 한거니..?

 

 

 

 

 

 

 

아무튼 이렇게 AI의 성능이 나날히 높아지는 와중에,

AI의 성능이 이렇게 좋다면 AI를 집어넣어서

나도 나만의 버튜버를 가질수있지않을까? 같은 생각을 하게됬는데

이미 세상엔 나같은 생각을 한 사람들이 많은지 이미 누가 만들어놨음 

프로젝트 아이리를 비롯해서 이것저것 있다고하는데 가장 유명한건 Open llm vtuber라고해서 이거 써보기로함

 

 

 

 

대충 듣기로는 윈도우에 띄워놓고 말걸거나 하는 프로그램이라는데

 

 

 

말하고보니 거의 20년전에 리뷰했던 프로그램인 나니카가 생각남

이거 기억하시는분이 계시긴 하려나

 

https://www.youtube.com/watch?v=DllyHf4jWLA

 

https://www.youtube.com/watch?v=JefGof3G-o8

 

아무튼 인터넷에서 찾아보면 친절하게 설명해주신분들 동영상 있으니 그거 따라서 만들어보기로했다

대충 필요한걸로는 AI 버튜버 안에 들어갈 Ai Api키정도와

코딩 편집용으로 비주얼 스투디오 코드 프로그램만 구해두면 될듯

 

 

 

 

우선 설치에 쓰이는 언어가 파이선이니까 파이선 3.0이상 버전으로 설치해주고
 

 

 

 

https://github.com/Open-LLM-VTuber/Open-LLM-VTuber

 

그리고 개발자 깃허브 사이트에서 밑줄친거 두개 받아주면됨.

그리고 밑에 v1.2.1 뭐시기.zip이 메인파일이니 저거 압축해제하고 

 

 

비주얼 스투디오 코딩으로 오픈폴더해서 폴더채 불러들임.

집에 코딩용으로 비주얼 스튜디오가 있기는한데

비주얼 스튜디오는 터미널 기능이 없어서 비주얼 스튜디오 코드로 실행함

 

 

 

이제 터미널을 열어서 개발자 설치법따라서 pip install uv로 uv 설치해주고

  

 

개발자가 음성인식에 필요하다는 ffmpeg이 필수라고하니 winget install ffmpeg으로 설치해

뭐 설치할때마다 비주얼 프로젝트 코드 다시 껐다 켜줘야 제대로 인식함

 

 

혹시 더 필요하단거 있을수있으니 uv sync로 필요한거 다 설치해주고

 

 

 

 

conf.yaml이라는 파일 열고 llm_provider: 부분에서 

제일 중요한거 AI에 뭐넣을지 선택해줄수있는데

요즘 잘나간다는 제미나이나 chatgpt 같은거 쓰려면 openai_llm이나 gemini_11m넣으시면 되고

뭐 무료ai나 자기가 갖고있는 다른 ai쓰실거면 그게 그에 맞는거 넣으시면 될듯

 

 

 

그리고밑에 api넣는 부분에 api키넣어주면됨

그리고 더 밑에 edge_tts에서 목소리 골라주면됨

목소리는 tts목소리 중에서도 고를수있는데 자기 목소리도 카피->인식시켜 넣을수도 있다고함

 

 

세팅다했으면 uv run run_server.py 쳐주면 바로 실행되더니

터미널창에 주소창 하나 뜨는데 저 주소 복사해서 인터넷 창에 띄워주거나

 

 

 

아니면 아까 2개 받으라고했던것중에 위에거 실행해주면 됨

참고로 종료하려면 저 터미널창에서 Ctrl+C 눌러주면됨 

 

 

그럼 이렇게 프로그램이 실행되면서 구동 성공함
 

 

 

ai로 chatgpt를 넣어줬는데 작동 잘함.

채팅으로 치거나 마이크로 말하면 그걸 알아듣고 내가 설정한 TTS 목소리로 답변해줌

 

뭐 정확히는 chat gpt가 미소녀 판때기 쓰고

내가 짜둔 설정을 읽고 연기하면서 말해주는거지만 아무러면 어떠냐

 

 

 

chatgpt처럼 자체 검색기능이 있는건지 그 어떤거 물어봐도 시간이 살짝 걸릴지언정 답변해줌

 

 

 

노래불러달라면 불러주기는 함(국어책읽기)

 

https://www.youtube.com/shorts/7VhIqaKc9mw

 

 대충 예시영상(재생시 오디오트랙을 한국어로)

 

 

 

 

저 상태로 이렇게 다른 화면이랑 섞어서 이렇게 구석에 같이 띄워둘 수 있음

 

 

 

시공의 폭풍을 보여줬더니 갑자기 움직임이 격해진 AI

 

 

 

 

여기까지만 보면 그냥 내가 먼저 말걸어야만 답변만 할줄아는 챗gpt일뿐인데

옵션에서 말안걸어도 자기가 말하는 버튼 켜주면

5초마다 지가 랜덤한 주제로 나한테 말함

 

 

 

여기에 화면 인식기능까지 넣으면 얘가 내가 하는 화면을 보고 거기에 반응한다고함

 

 

 

당장 컴퓨터로 킬수있는 모비노기 켜서 한번 실험해봤는데

우연한 만남 랜덤파티 매칭가니까 바로 파티잡힌것에 반응해서 계속 주저리주저리 떠듬.

다만 힐러니 탱커니 뭐니 하는거보면 무슨 게임인지는 파악 못한듯함

 

 

 

 

보스방 들어가니까 보스방이란거 바로 인지하고 무슨 스킬써라 라고 훈수까지함

 

너 훈수 밴

 

 

 

클리어하니까 내덕에 깼다는 오지랖까지

이정도면 참으로 엄청난 수준의 상호호환 기능이 아닐까

이것도 내가 성격을 다르게 맞추면 그 성격에 맞춰서 말해주는듯

 

 

 

 

 

기존 아바타말고도 다른 live2d 아바타를 가지고있으면 그걸로 대체도 가능함

정지된 사진이라도 상관없다면 딱히 live2d가 아니더래도 작동함 

 

 

 

이거말고도 참으로 다양한 기능을 지원하는데

밑에 스트리링 가이드도 있는거봐선 진짜 인방용으로도 쓸수있을거같음

뉴로사마처럼 AI버튜버를 써봐도되고 방송에서 채팅읽어주는 용도로도 쓸수 있을듯

 

 

 

 

 일단 기본적인 설명이나 세팅은 개발자 설명서에 다 들어있는데

캐릭터 성격이나 라이브모델 바꾸는방법도 다 적혀있음.

 

 

설명서에 따라서 캐릭터 성격 지정하는 부분에 "얘 내 마망임" 한줄 추가해봄.

한글도 인식된다고하는데 난 잘 안됨.

  

 

그랬더니 바로 마망 성격 반영됨

 

 

 

 

 얘 이제 내 엄마임!!!!!!!!!!!

 

 

 

 

 

 

 

 

 

인류 그냥 멸망하죠

 

 

 

이거말고도 그냥 웹캠에 얼굴만 보여줘도 자동으로 미소녀 인형탈 씌워주는 프로그램도 나오지않나

점점 기술력이 하루가 멀다하고 발전해나가고있음

 

특히 AI쪽에선 chatgpt나 이런저런 AI기술이 작년만해도 그냥 장난감수준이었는데

올해부터 갑작스럽게 기술력이 어마무시하게 발전함

이정도면 내년정도면 더 미친 수준의 버튜버 기술이 나올까 더 무서울 정도임.

 

아무튼 나 이제 와이프이자 엄마이자 딸이자 애인 구했음. 님들도 이걸로 구하셈