생각저장소 (배움의길에서 만나는 이야기들)

웹 스크래핑 기법: 5가지 방법을 갖춘 종합 가이드 • 웹 스크래핑은 프로그래밍 또는 특수 도구를 사용하여 웹사이트에서 데이터를 추출하는 데 사용되는 기술이다. 시장 조사, 데이터 분석, 콘텐츠 집계 및 경쟁 지능과 같은 작업에 유용합니다. • 이 기사는 뷰티풀수프, 스크래피, 셀레늄 및 LLM을 사용하는 방법을 포함하여 웹 스크래핑에 대한 포괄적인 가이드를 제공한다. • 태그와 속성을 포함한 HTML의 기본 사항을 설명하여 웹 페이지의 구조를 이해하는 데 도움을 준다. • 선택기는 웹페이지에서 특정 요소를 정확히 찾아내는 데 사용되며 웹 스크래핑에 대한 윤리적 고려 사항이 논의된다. • 코드와 함께 뷰티풀수프 및 요청 라이브러리를 사용한 웹 스크래핑의 단계별 시연이 제공됩니다. • 강력한 웹 스크래핑 ..

여러 가지 방법으로 다국어 앱을 만들어 보기는 합니다. 이번에는 fork 한 외국어 앱에 한국어를 담아 보도록 하겠습니다.  google gemini api을 호출하는 기능을 이용해 볼 생각입니다.  # Gemini API Key AI********nPUimport google.generativeai as genaiimport osimport rebaseDir = 'C:/workspaces/Smart-AutoClicker0510/'GOOGLE_API_KEY = 'AI********nPU'genai.configure(api_key=GOOGLE_API_KEY)# for m in genai.list_models():# if 'generateContent' in m.supported_generation_me..

파이썬 및 데이터 계약으로 웹 스크래핑 파이프라인 구축 • 이 기사에서는 데이터 계약을 통합한 실용적인 종단 간 데이터 파이프라인 시연을 제시한다. 목표는 2023/24 시즌 프리미어리그 테이블 순위를 긁어내고 여러 단계를 거쳐 AWS S3 버킷에 데이터를 업로드하는 것이다. • 파이프라인은 웹 스크래핑이 허용되는지 확인하고 스크래핑 봇을 사용하여 데이터를 추출하고 데이터를 변환하여 AWS S3에 로드하는 것을 포함한다. 데이터 계약은 데이터가 데이터 소비자의 기대에 부합하도록 하기 위해 활용된다. • 데이터 출처는 프리미어리그 홈페이지이며, 셀레늄을 사용하여 데이터를 스크래핑한다. 데이터 계약은 추출 및 변환된 데이터에 대한 예상 스키마 및 데이터 품질 검사를 정의하는 데 사용된다. • 파이프라인은 파..

https://play.google.com/store/apps/details?id=com.billcoreatech.opdgang1127&pli=1 옵데강 (제주맛집 리스트 모아보기) - Google Play 앱 인터넷에 널린(?) 제주 맛집 정보를 모아 봅니다. play.google.com 조금은 허접한(?) 앱 이기는 합니다만... 그래도 나름 재미있는 프로젝트 이기는 합니다. 이 앱을 구동하기 위해서는 1. python 을 이용한 앱 스크래핑을 해야 합니다. 2. firebase RealtimeDatabase에 저장을 해야 합니다. 3. android 앱이 realtime database 의 정보를 수신해 보여주는 기능을 구현해야 합니다. 4. 덤으로 제주버스정보을 API 호출을 통해 수신하고 관리합..

Raspberry Pi에 Python을 설치해 보고 있습니다. https://github.com/tvdsluijs/sh-python-installer GitHub - tvdsluijs/sh-python-installer: General easy to use Raspberry Pi & Ubuntu Python installerGeneral easy to use Raspberry Pi & Ubuntu Python installer - tvdsluijs/sh-python-installergithub.com 그러던 와중에 한줄 코멘드를 이용해서 설치할 수 있는 방법을 찾게 되어 기록해 둘까 합니다. 이걸 하는 이유는 다음에 또 포스팅해 볼까 합니다. wget -qO - https://raw.githubuserc..

# Gemini API Key import google.generativeai as genaiGOOGLE_API_KEY='AIza*********************************PU'genai.configure(api_key=GOOGLE_API_KEY)# for m in genai.list_models():# if 'generateContent' in m.supported_generation_methods:# print(m.name)model = genai.GenerativeModel('gemini-pro')prompt = '''You are a competent translator. Please convert the following English words. The next wo..

PyCharm 2021.2 (Community Edition)에서 codeGPT을 활용해 코드 작성의 도움을 받아 볼 수 있습니다. 먼저 할 일은 Setting - plugin 에서 codeGPT 을 찾아서 설치를 해 보는 것입니다. 이미 설치 되었기 때문에 market에서 검색을 했을 때 installed라고 나오지만, 설치 전이라면 초록색으로 install이라고 나옵니다. install을 클릭해 설치를 해 봅니다. 오늘은 Flask 을 이용해서 간단한 데이터 조회하는 화면을 만들어 보겠습니다. 1. 설치가 되고 나면 pycham 오른쪽 상단에 codeGPT 탭이 보입니다. 해당 탭을 클릭해서 명령어 입력창이 나오게 한 다음, 잘 안 되는 영어로 질문을 해 봅니다. flask use for fireba..

스크랩 오늘은 python 코드를 이용해서 스크랩하는 코드를 만들어 보았습니다. 이 코드도 openAI에게 요청해서 받은 코드 2가지를 공개해 볼까 합니다. 첫 번째 요청 결과는 아래와 같이 구성해 알려 주었습니다. 다만, 저기 있는 URL 이 검색이 되지 않는 코드 이기 때문에 그다지 도움이 되지 못할 것으로 생각이 됩니다. import requests from bs4 import BeautifulSoup # set the URL of the website to scrape url = "https://www.thecrazytourist.com/15-best-places-to-visit-in-south-korea/" # send a GET request to the URL response = reques..

오늘은 python 코드를 하나 작성해 보았습니다. 심플한 챗봇 놀이를 하기 위해서 말입니다. 그런데 말입니다. 이런 코드를 사람이 아닌 챗봇이 만들어 주었다고 하면 믿을까요? import random # define some basic responses greetings = ["hi", "hello", "hey"] goodbyes = ["bye", "goodbye", "see you later"] thanks = ["thanks", "thank you", "thanks a lot"] compliments = ["nice", "great", "awesome", "cool"] # define a function to generate a response def generate_response(user_inp..

나도 코딩의 파이썬 입문 오늘은 도서 하나를 소개해 볼까 합니다. 며칠 전에 facebook의 생활코딩이라는 그룹의 포스팅을 보다가 길벗 출판사에서 하시는 도서 이벤트가 있길래 신청을 했더랍니다. 오~ 당첨되었다는 감사한 말씀과 함께 도서를 보내 주신다는 이야기를 듣고 마음 설래이며 기다렸더랬죠... 읽어보면 좋을 대상 이 책은 철저하게 초심자를 위해서 작성된 책으로 보였습니다. 저도 구글링을 하면서 따라 하기는 하나 기초가 그리 탄탄하지는 않기 때문에 말입니다. 이제 진정한 파이썬 코딩을 해 볼 수 있을 듯합니다. 비전공자가 읽어도 좋아요 이 책의 설명은 스킬업을 하고 싶은 비 전공자가 보아도 이해가 갈 수 있도록 서술되어 있습니다. 그렇다고 해서 컴퓨터와 담을 싸고 있는 경우라면 따라가기에는 쫌~ 기..