저비용 로컬llm 원하시는 분들은

내년 초 출시되는 amd 새 apu 기다리세요

AI MAX(strix halo) 랩탑 혹은 태블릿

미니PC도 출시가 되지 싶습니다.

당연히 nvidia 그래픽카드 같은 성능은 안나옵니다만

대략의 특징이 메모리 128GB 꽂으면 내장 글래픽에 기존에 내장 그래픽은 64GB가 한계(128GB 가능하지만 현재 64GB 모듈이 없으므로)였는데 96GB까지 할당 가능하고 쉐이더 2560에 쿼드채널 8000MHz라 성능은 rtx 4060ti 정도 뽑아주리라 봅니다.

학습에는 그다지 좋지 않을 것 같지만 메모리량으로 추론에는 대형 모델이 적당히 혼자 쓸만큼 돌아갈 듯 하네요

내년도 컨슈머용 그래픽 카드는 300만냥 짜리가 32GB가 한계고 그 이상은 hbm 달린 놈만 가능할테니, 물론 이놈도 저렴하지는 않겠지만

십수년 전부터 내장 특화 만들거면 쿼드 채널 이상 만들어라고 주장했었는데 이제야 ㅎ

결론, 메모리 96GB 달린 4060ti 흉내

다만 nvidia cuda가 아닌 게 좀...