AWS 15

Yocto 소스 코드 MIRROR를에 AWS S3와 연결

앞의 글 (https://yocto.tistory.com/315)에서 Yocto의 MIRROR에 대해서 설명했고 이를 설정할 수 있는 AWS EFS와 S3에 대해서 간단히 설명했다. 이제 실제로 AWS S3에 MIRROR를 어떻게 설정하고 테스트하는 것에 대해서 적어보고자 한다. PREMIRROR를 구성할 때 AWS S3가 EFS에 비해 좋은 점은 엄청난 비용 절감 및 같은 AWS 리전 내이면 네트워크 비용이 없고 속도가 빠르다는 장점이 있다. 솔직히 Yocto에서 S3를 지원하기 때문에 간단한 설정만으로도 사용할 수 있어 표준을 지원하지 않는 다는 단점은 없는 것 같다. 이제 본격적으로 AWS S3를 사용하여 MIRROR 서버를 구축하는 방법을 알아보자. 사전에 AWS S3에 들어가서 chanbae라는..

Yocto 2024.08.15

Yocto 소스 코드 MIRROR를에 대한 이해 및 AWS Storage Service

Yocto 프로젝트에서 MIRROR는 소스 코드를 다운로드할 때 참조할 수 있는 대체 저장소를 의미한다. 이는 빌드 시스템이 외부 인터넷 리소스에 의존하지 않고, 지정된 미러 서버나 로컬 저장소에서 필요한 소스를 먼저 다운로드할 수 있도록 하여, 빌드 효율성을 향상시키고, 네트워크 대역폭을 절약하며, 다운로드 실패 가능성을 줄이는 데 도움을 준다.MIRROR의 주요 기능과 이점 1. 속도 향상: 내부 네트워크에 위치한 미러 서버를 사용할 경우, 인터넷보다 훨씬 빠르게 소스를 다운로드할 수 있다. 2. 대역폭 절약: 외부 인터넷 트래픽을 줄이고, 내부 네트워크를 활용하여 대역폭을 절약할 수 있다. 3. 빌드 안정성: 외부 서버의 가용성 문제나 네트워크 연결 문제에도 불구하고 안정적으로 빌드를 진행할 수 있..

Yocto 2024.08.14

Cloud 비용을 줄이기 위한 Hackathon 아이디어

회사에서 프로젝트를 진행하는데 개발 환경의 인프라가 대부분 Cloud에 올라가 있다. 당연히 비용도 엄청나게 지불하고 있고 관리가 잘 안되어 무차별적으로 사용하고 있는 부분도 많이 있다. 이에 전사적으로 Cloud 비용을 줄이기 위한 해커톤을 하루 진행하기로 했다.  기본적으로 오랫동안 사용하지 않는 아티팩트 찾아서 삭제, 올바른 형태로 CI/CD 사용, 최적의 인스턴스 유형 사용, 사용하지 않는 시간에 인스턴스 Off 등 큰 아이디어들은 제공한다. 그리고 실제 프로젝트의 아티팩트에 들어가서 줄이는 작업을 진행한다. 당연히 제품과 개발에 영향을 주면 안된다. 내일 참여하기 위해 간단히 아이디어를 생각해보려고 이렇게 글을 쓰고 있다. 우선 가능하면 현재 프로젝트에서 사용하는 AWS에 접속해서 어디서 비용을..

Development 2024.08.02

SDV 개발에서 HW/SW Decoupling (디커플링)

SDV (Software Defined Vehicle)는 Automotive 분야에서 가장 많이 듣는 용어 중에 하나이다. 물론 회사 내부에서 개발을 할 때 많이 들어보지는 못했다. 내부적으로는 그냥 MB.OS (Mercecdes-Benz Operating System) 이라는 용어를 훨씬 더 많이 쓴다. 하지만 여기저기 미디어나 다른 회사 블로그 등에서 보면 대중적으로 사용하는 것은 분명하다. 그럼에도 불구하고 이전에 유비쿼터스 등과 같은 용어와 같이 이미 있는 기술을 잘 포장하는 듯한 느낌이 많이 나는것은 필자만의 생각일까? 또한 여러군데서 여러 사람들이 조금씩 다르게 SDV라는 용어에 대해서 이야기한다. 여기서는 그 내용 중 하나인 차량용 SW 개발에서 하드웨어와 분리되어 SW를 개발할 수 있는 환..

Automotive 2024.08.01

QNX의 SDV 전략 (QNX Cabin)

QNX에서 지난주 수요일과 목요일 이틀동안 회사에 와서 하루는 데모를 진행하고 다른 하루는 전일 기술적인 워크샾을 진행하였다. 이틀 모두 참석했고 이에 대한 QNX의 SDV 전략에 대해서 간단히 느낀대로 적어보고자 한다. 아래 webOS가 있어서 간만에 반가웠다. :)  결론부터 이야기하면 이대로 잘 구현만 된다면 QNX를 사용하는 OEM은 Supplier에 의존성이 많이 줄어들고 대신 QNX에 대한 의존성이 조금 더 늘어날 것 같다. 방향성은 정말 좋고 현재 데모도 AWS Cloud, Qualcomm 레퍼런스 보드, Samsung 레퍼런스 보드에서 잘 동작하는 것을 보았다. 물론 이상과 현실은 다르지만 플랫폼과 개발 환경에는 너무 좋은 것 같다.QNX CabinQNX Cabin이라는 새로운 용어를 들고..

Automotive 2024.07.27

AWS에서 Yocto Shared State Cache 설정 (CI 환경)

빌드 속도 최적화 및 AWS 비용 최적화 작업을 진행중에 있다. MR (Merge Request) / PR (Pull Request) 하나에 10개 이상의 빌드가 동시에 돌아가고 이에 따라 AWS 비용이 엄청나게 증가하고 있다. 또한 경우에 따라 빌드가 안정적이지 않아 다양한 이슈가 생기고 있다. Yocto Shared State CacheYocto 프로젝트의 sstate cache(Shared State Cache)는 빌드 속도를 크게 향상시키기 위해 사용되는 기능이다. 이를 통해 Yocto는 재빌드 시 동일한 작업을 반복하지 않고 이미 완료된 작업을 재사용할 수 있다. 이전 글 (https://www.yocto.co.kr/291) 에서 Shared State Cache에 대해서 조금 더 이야기 했으니..

Yocto 2024.06.25

Systemd에서 Idle 상태이면 자동으로 종료하기

회사에서 AWS를 사용하고 있고 개발자들에게 자유롭게 EC2 Instance Type을 선택하고 사용할 수 있도록 제공한다. 자유롭게 사용할 수 있는 만큼 책임이 따르지만 많이들 좋은 Instance Type을 선택하고 빌드가 아닌 작은 작업을 한다던지 심지어 깜빡하고 종료를 안하고 퇴근하기도 한다. 이에 사용하지 않을때 자동으로 종료하는 방법을 찾아서 설정하고 두가지 방안을 동시에 적용하려고 한다. 하나는 이번 글에서 설명할 systemd 설정을 변경하여 30분동안 idle 상태이면 자동으로 종료하도록 하는 것이고, 다른 하나는 AWS의 cloudwatch에서 alert를 설정하여 종료를 하도록 하는 것이다.systemd 환경설정 방법설정방법은 간단하다. /etc/systemd/logind.conf 파..

Linux 2024.06.21

AWS S3 Transfer Acceleration 테스트

배경회사에서 프로젝트를 하는데 이미지 저장 공간으로 CI에서 빌드한 후 AWS에 Artifactory를 운영하고 있다. 미국, 인도, 중국, 한국 등 전세계적으로 판매되는 차량이기 때문에 각 지역에 QA와 개발자들이 이미지를 받아서 테스트를 하는데 경우에 따라서는 5시간, 12시간까지 걸리기도 한다. 이를 줄이고자 리서치를 하던 도중 AWS에서 CDN (Content Delivery Network) 으로 사용하는 Clond Front를  알게 되었고 S3에서는 Transfer Acceleration 하나만 특정 bucket에서 Enable 하여 쉽게 사용할 수 있다는 것도 알게 되었다. 이를 가지고 미국, 인도, 한국 등에서 테스트를 진행하였다.AWS S3Transfer Acceleration 이란?Am..

Development 2024.06.11

Yocto 병렬 빌드 옵션 최적화

Yocto 프로젝트에서 병렬 빌드 옵션을 설정하면 빌드 속도를 크게 향상시킬 수 있다. 일반적으로 Yocto 프로젝트는 OpenEmbedded 빌드 시스템을 사용하며, 병렬 빌드 옵션을 설정할 때 다음 두 가지 주요 변수를 설정해야 한다.BB_NUMBER_THREADS: BitBake가 병렬로 실행할 수 있는 스레드의 수를 지정한다.PARALLEL_MAKE: make가 병렬로 실행할 수 있는 작업의 수를 지정한다.이 변수의 기본 값은 빌드하는 호스트의 CPU 개수 값으로 meta/conf/bitbake.conf 파일에 설정 되어 있다. 작은 프로젝트나 Yocto 프로젝트의 레퍼런스인 Poky를 빌드할 때 기본 옵션을 사용해도 크게 상관은 없지만 이 옵션들은 빌드 호스트 머신의 성능과 프로젝트에 맞게 커스..

Yocto 2024.06.10

Daily - 2024년 2월 6일 (화)

오랜만에 회사에 출근했다. 매니저가 뭔헨에 사는데 오늘부터 3일간 베를린에 와 있어 겸사겸사 얼굴을 볼겸 왔다. 특별한 일 없이 IT에 워크스테이션 문제를 리포트했고 미팅 몇건 그리고 AWS 문제 관련되서 리포트를 했다. 독일시간 오후 4시 아시안컵 준결승을 중간중간 문자로 보고 집에 와서 잠깐 기절했다가 다시 일어나 지금 시간 23시56분에 블로그를 열어 글을 쓰고 있다. 업무 요즘은 회사에 출근할 때 EDEKA에 들려 빵을 사가지고 간다. 커피와 함께 먹으면서 업무를 시작한다. 일상적으로 메일과 채팅 내용을 처리하고 오후에 있을 MB.OS 미팅을 준비하기 시작했다. TCU 관련 내용을 리서치하고 좀 더 자세한 내용은 권한이 없어 신청을 했다. 회사 팀 내에서 AWS를 개인적으로 사용할 수 있도록 제공..

Daily 2024.02.07