파이썬 프로그램을 서버에 처음 배포할 때는 직접 SSH로 접속하여 코드를 내려받고 프로그램을 다시 실행하는 경우가 많습니다. 프로젝트가 작을 때는 큰 문제가 없습니다. 하지만 코드를 자주 수정하면 매번 다음 과정을 반복해야 합니다. 코드 수정↓GitHub Push↓서버 SSH 접속↓git pull↓라이브러리 설치↓서비스 재시작 작은 수정 하나를 할 때마다 같은 작업을 반복하게 됩니다. 이러한 과정을 자동화하는 개념이 CI/CD이며 GitHub에서는 GitHub … 더 읽기
FastAPI로 API 서버를 만들었다면 개발 환경에서는 보통 다음과 같은 명령어로 실행합니다. uvicorn main:app –host0.0.0.0 –port8000 브라우저에서 서버 IP와 8000번 포트를 입력하면 API에 접근할 수 있습니다. 하지만 실제 서비스를 운영하면서 사용자가 example.com과 같은 도메인으로 접속하도록 만들고 HTTPS까지 적용하려면 조금 더 체계적인 서버 구성이 필요합니다. 이때 많이 사용하는 프로그램이 Nginx입니다. FastAPI와 Nginx의 역할 전체적인 구조를 단순하게 표현하면 … 더 읽기
파이썬으로 API 서버나 자동화 프로그램을 만들다 보면 API 키, 데이터베이스 비밀번호, 텔레그램 토큰처럼 외부에 공개해서는 안 되는 정보를 사용하게 됩니다. 초보 단계에서는 이러한 값을 코드에 직접 입력하기 쉽습니다. 예를 들어 다음과 같은 코드입니다. API_KEY=”my-secret-api-key” 개인 PC에서 잠깐 테스트할 때는 큰 문제가 없어 보일 수 있습니다. 하지만 코드를 GitHub에 올리거나 다른 사람에게 전달하는 순간 API 키까지 … 더 읽기
인터넷에는 뉴스, 공공데이터, 상품 정보, 문서 등 다양한 형태의 데이터가 존재합니다. 이러한 웹페이지에서 필요한 정보를 프로그램으로 읽어 원하는 형태로 정리하는 작업을 일반적으로 웹 크롤링 또는 웹 스크래핑이라고 부릅니다. 파이썬에서는 여러 도구를 사용할 수 있지만 초보자가 HTML 구조와 데이터 추출 방법을 배우기 좋은 라이브러리 중 하나가 BeautifulSoup입니다. 이번 글에서는 Requests와 BeautifulSoup을 이용하여 웹페이지의 HTML을 가져오고 필요한 … 더 읽기
파이썬을 배우는 이유 중 하나는 사람이 매번 반복해야 하는 작업을 프로그램이 대신하도록 만들 수 있기 때문입니다. 그중에서도 웹사이트에 접속해 버튼을 클릭하고, 입력창에 내용을 작성하고, 페이지를 이동하는 작업은 Selenium을 활용하면 비교적 쉽게 자동화할 수 있습니다. Selenium은 웹 브라우저를 프로그램으로 제어할 수 있도록 만들어진 도구입니다. 단순히 웹페이지의 HTML을 다운로드하는 것과 달리 실제 Chrome과 같은 브라우저를 실행해 사람이 … 더 읽기
디지털 트랜스포메이션 시대를 맞이하여 데이터를 스스로 수집하고 가공하는 기술은 비즈니스 경쟁력의 핵심으로 자리 잡았습니다. 로컬 환경에서 테스트하던 코드를 클라우드 환경으로 이관하여 24시간 동작하게 만드는 과정을 거치며, 개발자는 데이터 파이프라인의 엄청난 잠재력을 몸소 체험하게 됩니다. 하지만 진정한 엔지니어링의 성과는 시스템이 안정적으로 구동되는 것에 그치지 않고, 이를 바탕으로 실제 비즈니스 가치나 자동화된 수익 모델(Passive Income)을 창출하는 단계에서 … 더 읽기
성공적인 비즈니스 인프라와 안정적인 웹 서비스를 운영하기 위해서는 서버의 네트워크 보안을 철저하게 구축하는 과정이 가장 우선되어야 합니다. 인터넷망에 연결된 클라우드 인스턴스나 물리적 서버는 24시간 내내 전 세계에서 시도되는 무차별 대입 공격(Brute Force)과 악의적인 포트 스캐닝의 표적이 되기 때문입니다. 이러한 위협으로부터 시스템 자원과 소중한 데이터를 완벽하게 보호하는 가장 효율적이고 직관적인 방법은 바로 우분투 서버 방화벽(UFW) 설정 … 더 읽기
현대의 IT 인프라와 데이터 엔지니어링 생태계에서 개발 환경의 일관성을 유지하는 것은 프로젝트의 성패를 좌우하는 핵심 요소입니다. 특히 금융 데이터 수집이나 자동화된 시스템 운영과 같이 24시간 무중단으로 동작해야 하는 스크립트 환경에서는 ‘내 컴퓨터에서는 잘 구동되는데 실서버에서는 에러가 발생한다’는 고질적인 인프라 불일치 문제를 완벽하게 해결해야 합니다. 이를 위한 가장 혁신적이고 글로벌 표준으로 자리 잡은 솔루션이 바로 도커(Docker) … 더 읽기
IT 인프라와 백엔드 서버 운영에 있어서 개발자가 가장 심혈을 기울여야 하는 부분 중 하나는 바로 안정적인 서비스의 유지입니다. 특히 데이터 수집 봇, 비동기 작업 워커, 실시간 텔레그램 알림 시스템 등 24시간 끊임없이 동작해야 하는 파이썬(Python) 스크립트를 관리할 때, 단순한 터미널 실행만으로는 SSH 세션 종료 시 프로그램이 함께 멈추는 치명적인 한계에 직면하게 됩니다. 이러한 구조적 한계를 … 더 읽기
현대 IT 인프라와 데이터 엔지니어링 환경에서 서버의 안정성을 유지하는 것은 비즈니스의 성공과 직결되는 매우 중요한 과제입니다. 특히 파이썬(Python) 기반의 백엔드 시스템에서 예상치 못한 작동 중단을 신속하게 파악하고 대응하는 능력은 시스템 엔지니어의 핵심 역량으로 평가받습니다. 과거에는 단순한 콘솔 출력문으로 상태를 확인하기도 했으나, 대규모 트래픽이 발생하는 실서버 환경에서는 이러한 방식으로는 데이터가 유실되고 원인을 정확히 분석하기 어려운 명확한 … 더 읽기