생각저장소 (배움의길에서 만나는 이야기)

티스토리에 작성 했던 글들을 네이버로 이전을 시작하고 한참 ...이제 블로그 글 이전이 완료 되었습니다. 807번째 글까지 이전이 완료 되기는 했으나, 그렇다고 해서 네이버 블로그에 유입이 늘어나지는 않았습니다. 블로그 글도 결국은 검색에 걸리지 않는 다면, 누군가 와서 클릭해 주어야 한다는 의미 인데, 그렇게 되려면 아무래도 친구 만들기, 이웃 만들기에 노력을 기울여야 할 것 같습니다. 언제 될지는 알 수 없지만, 시작이 반이라 했으니... 어느날에는 다른 일들이 있지 않을까요? 아래는 이전에 사용 했던 코드 그대로 입니다. 잘 활용 한다면 자동 글쓰기을 이용해 네이버 블로그에 자동 글쓰기 머신(?)으로 개조(?) 사용해 볼 수 있지 않을까요 ?from playwright.sync_api i..

Python에서 5100개 키워드 포함 여부 빠르게 검사하기대규모 로그 처리나 텍스트 분석을 하다 보면, 한 문장에 수천 개의 키워드 중 하나라도 포함되어 있는지 빠르게 확인해야 할 때가 있습니다. 단순히 re.search를 5100번 반복하는 방식은 성능이 매우 떨어지므로, 더 효율적인 방법을 소개합니다.❌ 잘못된 접근: [...] 문자 클래스정규식에서 [...]는 문자 클래스로 동작합니다.예: [abc] → "a" 또는 "b" 또는 "c"라는 단일 문자 매치.따라서 5100개의 키워드를 [...] 안에 넣는 것은 "5100개의 문자열 중 하나"가 아니라 "5100개의 문자 중 하나"를 찾는 것에 불과합니다.✅ 올바른 접근 방법1. Set 기반 검색# 5100개 키워드 준비keywords = ["err..

티스토리에 있는 글을 자동으로 이전 하는 작업을 시작합니다. (feat 블로그 글 이전 하기 ...) 스크립트 자동화를 통해서 티스토리에 게시 했던 글을 네이버 블로그로 이전 하는 작업을 시작 했습니다. 이제 완전 자동화가 가능 합니다. 다만, 네이버 블로그에 자동 글쓰기 탐지(?)가 있을까 싶어서, 한번에 6개의 글을 자동으로 이전 합니다. 소스 코드를 보고 수정하실 수 있습니다. 네이버블로그에 새싹(?)이 자라기 시작 했습니다. 언제 될지 모르겠지만, 800여개의 글을 전부다 옮겨 보겠습니다. from playwright.sync_api import sync_playwrightimport timeimport osfrom naver_blog.tistory_scrape import readTi..

티스토리 글을 네이버 블로그로 이전하기 (Playwright + Python 자동화 회고) 티스토리에서 글을 읽어오고(제목/본문/이미지), 네이버 블로그 글쓰기 화면에 옮겨 적는 과정을 자동화하면서 겪었던 시행착오를 정리했습니다. 결론부터 말하면 “완전 자동”보다는 “반자동(로그인/최종 검수는 사람이)”이 현실적인 접근이었습니다.기술 스택: Python, requests, BeautifulSoup4, lxml, Playwright(synchronous)핵심 파일: naver_blog/tistory_scrape.py, naver_blog/260208_naverBot.py, naver_blog/tistory_to_naver.db키워드: iframe / contenteditable / insertHTML / ..

🐍 Python | Hugging Face 모델, 왜 요약을 못할까? (Base vs. Instruct 모델, 버전 충돌 해결기)개요 (Intro)Hugging Face 모델 로딩 시 마주쳤던 인증 오류(401, 403)를 해결한 후, 새로운 문제에 직면했다. 모델이 요약 지시를 제대로 따르지 않았고, 이를 해결하는 과정에서 예상치 못한 라이브러리 버전 충돌까지 겪었다. 오늘의 일지는 이 두 가지 문제를 해결한 과정을 상세히 기록한다.📅 날짜: 2025.11.09🎯 목표: Gemma 모델이 뉴스 기사를 의미 있는 한국어로 요약하도록 만들기🧰 기술: Python, Hugging Face (transformers, torch, torchvision)문제 정의 (Problem / Motivation)인..

1️⃣ 글 제목- 🐍 Python | CamelCase를 snake_case로 변환하고 SQLite에서 단일 row 조회하기 ---2️⃣ 개요 (Intro)- 오늘은 Python에서 Camel 표기법을 snake 표기법으로 변환하는 유틸리티 함수를 만들고, SQLite에서 단일 row를 안전하게 조회하는 방법을 정리했습니다. - 간단한 리스트 인덱싱과 함께 Python의 기본 문법을 되짚는 시간이었어요.📅 날짜: 2025.11.07 🎯 목표: CamelCase → snake_case 변환 함수 구현 및 SQLite 단일 row 조회 🧰 기술: Python, SQLite3, Regex---3️⃣ 문제 정의 (Problem / Motivation)- API나 외부 데이터에서 CamelCase로 된 키..

1️⃣ 글 제목- 🐍 Python | Raspberry Pi에서 오픈소스 LLM으로 뉴스 요약기 만들기 ---2️⃣ 개요 (Intro)- 오늘은 라즈베리 파이에서 오픈소스 LLM을 활용해 웹 뉴스 요약기를 만드는 프로젝트를 구상했다. - 주요 목표는 Daum 포털에서 뉴스 데이터를 수집하고, 경량 LLM을 통해 300자 이내로 요약하는 기능을 구현하는 것. - 사용한 기술 스택은 Python, BeautifulSoup, Hugging Face Transformers, Phi-3 Mini 모델.📅 날짜: 2025.11.05 🎯 목표: Raspberry Pi에서 뉴스 요약기 구상 🧰 기술: Python, Hugging Face, BeautifulSoup, Phi-3 Mini---3️⃣ 문제 정의 (P..

1️⃣ 글 제목🐍 Python | 문자열 처리와 xlwings로 엑셀 데이터 다루기 ---2️⃣ 개요 (Intro)- 오늘은 Python에서 문자열을 다루는 다양한 방법과 xlwings를 활용한 엑셀 데이터 처리에 대해 실험하고 정리했다. - 특히 숫자 서식이 적용된 엑셀 셀을 문자형으로 읽어오는 문제와 문자열의 특정 패턴 확인 및 변환에 집중했다. - 사용한 기술 스택은 다음과 같다.📅 날짜: 2025.11.01 🎯 목표: 문자열 처리 및 xlwings 엑셀 연동 🧰 기술: Python 3.11, xlwings, re(정규표현식)---3️⃣ 문제 정의 (Problem / Motivation)- 엑셀에서 숫자 서식이 적용된 셀을 xlwings로 읽어올 때, `1.0`처럼 float로 인식되어 문자..

오늘의 개발일지: 웹 스크래핑 삽질에서 모듈화까지 작성일: 2025년 10월 28일🚀 오늘의 목표: Daum.net 최신 뉴스, Python으로 가져오기!오늘의 목표는 Python을 이용해 Daum.net의 최신 주요 뉴스를 가져오는 것이었습니다. 이 기능을 구현하기 위해 requests 라이브러리로 웹페이지에 접속하고, BeautifulSoup 라이브러리로 HTML에서 원하는 정보를 추출하는 '웹 스크래핑(Web Scraping)' 기술을 사용하기로 했습니다.🚧 1차 시도와 교훈: 웹사이트는 살아있다!처음에는 Daum 뉴스 페이지의 HTML 구조를 예측해서 뉴스 제목을 가져오는 코드를 작성했습니다. 하지만 웹사이트의 구조는 생각보다 자주 바뀌더군요. 제가 사용했던 CSS 선택자(Selector)가 ..

🐍 Python | PC에 흩어진 .whl 파일, 한 곳으로 모으는 자동화 스크립트 개발기 📅 개요 (Intro)날짜: 2025.10.26목표: 여러 프로젝트와 폴더에 흩어져 있는 .whl(휠) 파일들을 하나의 지정된 폴더로 모아주는 Python 스크립트를 개발하여 라이브러리 관리를 효율화한다.기술: Python, os 모듈, shutil 모듈🧐 문제 정의 (Problem / Motivation)Python으로 여러 프로젝트를 진행하다 보니 가상 환경(venv), 다운로드 폴더 등 PC 곳곳에 .whl 파일들이 쌓이기 시작했습니다. 특정 라이브러리의 구버전이 필요하거나 오프라인 환경에서 설치해야 할 때, 이 파일들을 찾아 헤매는 일이 잦아졌습니다.수동으로 *.whl을 검색해서 일일이 옮기는 것은 너..