AI 시대의 웹 크롤링: 코딩 없이 데이터를 수집하는 실전 가이드

, 같은 태그가 섞여 있어 읽기 어렵습니다.

2단계: HTML을 읽기 쉬운 텍스트로 변환

HTML 태그를 제거하고 순수 텍스트만 추출합니다. 이것은 워드 문서에서 서식을 모두 지우고 본문만 남기는 것과 같습니다.

도구: Text Parser 모듈의 "HTML to Text" 기능

Before (HTML):

<h3>Title: <a href="...">Attention Is All You Need</a></h3>
<div>Authors: Vaswani et al.</div>

After (Text):

Title: Attention Is All You Need
Authors: Vaswani et al.

3단계: AI로 필요한 정보만 추출하기

이제 핵심 단계입니다. 텍스트에서 논문 제목, 저자, 링크만 골라내야 하는데, 과거에는 정규표현식(Regex)이라는 복잡한 패턴 매칭 문법을 배워야 했습니다. 하지만 이제는 ChatGPT 같은 AI에게 "이 텍스트에서 논문 정보만 JSON 형식으로 정리해줘"라고 요청하면 됩니다.

프롬프트 작성 원칙:

시스템 프롬프트 (AI의 역할 정의):

You are a helpful web scraping assistant.
Extract only the following fields from the provided text:
- title
- authors
- link

Output in JSON format with no additional text.

사용자 프롬프트 (구체적 지시):

Extract all 50 papers from this text.
Do not stop after a few entries.

Example output format:
[
  {"title": "...", "authors": "...", "link": "..."},
  {"title": "...", "authors": "...", "link": "..."}
]

Text to process: [여기에 2단계에서 얻은 텍스트 삽입]

왜 영어로 작성하나요?
기술적 작업은 영어 프롬프트가 더 정확합니다. AI 모델이 영어 데이터로 주로 학습되었고, "JSON", "array", "extract" 같은 기술 용어는 영어가 표준이기 때문입니다.

결과 예시:

[
  {
    "title": "Scaling Laws for Neural Language Models",
    "authors": "Kaplan, J., McCandlish, S., et al.",
    "link": "https://arxiv.org/abs/2001.08361"
  },
  {
    "title": "BERT: Pre-training of Deep Bidirectional Transformers",
    "authors": "Devlin, J., Chang, M., et al.",
    "link": "https://arxiv.org/abs/1810.04805"
  }
]

4단계: JSON 데이터를 개별 항목으로 분리

지금은 50개 논문이 하나의 긴 텍스트로 묶여 있습니다. 이것을 논문별로 나눠야 스프레드시트에 한 줄씩 추가할 수 있습니다.

도구: JSON Parser 모듈

• 입력: AI가 생성한 JSON 텍스트
• 출력: 각 논문이 개별 번들(Bundle)로 분리됨

비유: 택배 상자 하나에 들어있던 50개 물건을 각각 개별 포장하는 것과 같습니다.

5단계: 스프레드시트에 자동 저장

Google Sheets 모듈을 연결해서 다음과 같이 매핑합니다:

실행 결과:
워크플로우를 실행하면 50개 논문이 자동으로 스프레드시트에 추가됩니다. 이제 매일 아침 자동 실행되도록 스케줄링하면, 출근해서 커피 한 잔 마시는 사이에 최신 논문 목록이 정리되어 있습니다.

실전 2단계: 동적 웹사이트에서 뉴스 본문까지 크롤링하기

시나리오: 테크 뉴스 자동 요약

TechCrunch의 AI 섹션에서 최신 기사 제목만이 아니라, 각 기사를 클릭해서 본문까지 읽고 요약한다고 가정해봅시다. 이것은 2단계 크롤링입니다:

• 목록 페이지에서 기사 링크 수집
• 각 링크를 방문해서 본문 추출

1~2단계: 기사 목록 페이지 크롤링 (앞과 동일)

HTTP 요청으로 HTML을 가져오고, Text Parser로 변환합니다.

3단계: 정규표현식으로 URL 추출하기

이번에는 AI 대신 정규표현식(Regex)을 사용합니다. 왜냐하면 URL 패턴이 단순하고 반복적이라 Regex가 더 빠르고 비용 효율적이기 때문입니다.

패턴 예시:

(?<url>https://techcrunch\.com/\d{4}/\d{2}/\d{2}/[a-z0-9-]+/)

해석:

• (?...): 추출된 값을 "url"이라는 이름으로 저장
• https://techcrunch\.com/: 고정된 도메인
• \d{4}/\d{2}/\d{2}/: 날짜 형식 (예: 2024/01/15)
• [a-z0-9-]+/: 기사 제목이 들어가는 부분 (소문자, 숫자, 하이픈)

Regex 테스트 방법:

• regex101.com 방문
• 위 패턴을 상단에 입력
• 크롤링한 텍스트를 하단에 붙여넣기
• 초록색으로 하이라이트된 부분이 추출될 URL

중요: Regex를 직접 만들기 어렵다면 ChatGPT에게 "TechCrunch 기사 URL을 추출하는 정규표현식 만들어줘"라고 요청하세요. 단, 반드시 regex101에서 테스트해야 합니다. AI가 항상 완벽한 패턴을 만들지는 않기 때문입니다.

4단계: URL을 소문자로 변환

HTTP 요청은 대소문자를 구분합니다. URL에 대문자가 섞여 있으면 "404 Not Found" 오류가 발생할 수 있으므로, 안전하게 소문자로 통일합니다.

도구: Set Variable 모듈

변수명: lowercase_url
값: lower({{url}})

lower() 함수는 Excel의 LOWER() 함수와 같은 역할을 합니다.

5단계: 각 기사 페이지 방문해서 본문 가져오기

이제 추출한 URL들을 반복(iterate)하면서 각각 HTTP 요청을 보냅니다. 10개 기사 링크가 있다면 HTTP 모듈이 10번 실행됩니다.

주의사항:

• 너무 빠르게 요청하면 서버가 봇으로 인식해서 차단할 수 있습니다
• 워크플로우에 "Sleep" 모듈을 추가해서 요청 사이에 1~2초 대기 시간을 넣으세요

6단계: 본문만 추출하기 위한 전처리

기사 페이지의 HTML을 텍스트로 변환하면, 헤더 메뉴, 광고, 푸터 등 불필요한 내용이 포함됩니다. AI에게 요약을 요청하기 전에 이런 노이즈를 제거해야 정확한 결과를 얻을 수 있습니다.

전략: 패턴 기반 텍스트 자르기

대부분의 뉴스 사이트는 구조가 일정합니다. 예를 들어:

• 기사 시작: 기사 URL이 본문에 표시됨
• 기사 끝: "Topics" 또는 "Related Articles" 같은 섹션으로 구분됨

구현 방법 (Set Variable 사용):

변수명: article_content
값: 
{{split(텍스트, URL)[1]}}  // URL 이후 부분만 가져오기
.split("Topics")[0]          // "Topics" 이전 부분만 가져오기

단계별 설명:

• split(텍스트, URL): URL을 기준으로 텍스트를 두 조각으로 나눔
• [1]: 두 번째 조각(URL 이후)을 선택
• .split("Topics"): "Topics"를 기준으로 다시 나눔
• [0]: 첫 번째 조각(Topics 이전)을 선택

결과: 순수 기사 본문만 남습니다.

7단계: AI로 기사 요약하기

이제 깔끔하게 정리된 본문을 ChatGPT에게 전달합니다.

시스템 프롬프트:

You are a professional news summarizer.
Extract the following from each article:
- headline (string)
- published_date (YYYY-MM-DD format)
- summary (2-3 sentences, Korean)
- url (string)

Output in JSON format only.

사용자 프롬프트:

Summarize this article:

[여기에 6단계에서 정리한 본문 삽입]

Original URL: {{lowercase_url}}

결과 예시:

{
  "headline": "OpenAI Launches GPT-5 with Enhanced Reasoning",
  "published_date": "2024-01-15",
  "summary": "OpenAI가 향상된 추론 능력을 갖춘 GPT-5를 공개했습니다. 새 모델은 수학 문제 해결과 코드 생성에서 이전 버전보다 40% 향상된 성능을 보입니다. 연내 API 출시 예정입니다.",
  "url": "https://techcrunch.com/2024/01/15/openai-gpt5-launch/"
}

8단계: 스프레드시트에 저장

JSON Parser로 개별 항목으로 나누고, Google Sheets에 한 줄씩 추가합니다.

비용 효율성: 언제 AI를 쓰고 언제 Regex를 쓸까?

실제 비용 예시 (ChatGPT-4 API 기준, 2024년 1월):

• 입력 1,000토큰: $0.03
• 출력 1,000토큰: $0.06
• 평균 기사 요약 1건: 약 2,000토큰 사용 → $0.15
• 하루 50건 처리 시: $7.5/일 = $225/월

반면 Regex는 완전 무료이므로, 단순 패턴 추출은 Regex를 우선 고려하세요.

주의사항: 합법적이고 윤리적인 크롤링

1. robots.txt 확인하기

모든 웹사이트는 도메인/robots.txt 파일에서 크롤링 규칙을 공개합니다.

예시: https://techcrunch.com/robots.txt

User-agent: *
Disallow: /admin/
Disallow: /private/
Crawl-delay: 2

해석:

• /admin/, /private/ 경로는 크롤링 금지
• 요청 사이 최소 2초 대기 필요

위반 시: 법적 조치 또는 IP 차단 가능

2. 크롤링 빈도 제한

나쁜 예:

• 1초에 100번 요청 → 서버 과부하 유발 (DDoS 공격으로 간주될 수 있음)

좋은 예:

• 요청 사이 1~2초 대기
• 하루 1~2회만 실행 (실시간 모니터링이 아닌 경우)

3. 개인정보 처리 주의

크롤링한 데이터에 이메일, 전화번호, 주소가 포함되어 있다면:

• 개인정보보호법 적용 대상
• 수집 목적 명확화 필요
• 제3자 제공 금지

안전한 사용:

• 공개된 정보만 수집 (로그인 필요한 페이지 제외)
• 개인 식별 정보는 즉시 제거
• 내부 업무용으로만 사용

4. 저작권 존중

금지:

• 크롤링한 기사를 그대로 재배포
• 요약본을 상업적으로 판매

허용:

• 개인 학습/연구 목적
• 내부 의사결정 참고 자료
• 출처를 명시한 짧은 인용

실전 활용 시나리오

시나리오 1: 경쟁사 모니터링

목표: 경쟁사 블로그에 새 글이 올라오면 Slack으로 알림

워크플로우:

• 경쟁사 블로그 RSS 피드 크롤링 (매시간)
• 새 글 제목과 링크 추출
• Slack Webhook으로 마케팅 채널에 전송
• 클릭 시 해당 기사로 이동

효과: 경쟁사 동향을 실시간으로 파악해서 빠르게 대응

시나리오 2: 부동산 매물 추적

목표: 특정 지역의 신규 매물이 나오면 즉시 알림

워크플로우:

• 부동산 사이트 검색 결과 페이지 크롤링 (30분마다)
• 매물 ID를 데이터베이스와 비교
• 신규 매물만 필터링
• 가격, 면적, 사진 링크 추출
• 이메일 또는 카카오톡으로 전송

효과: 좋은 매물을 남들보다 먼저 발견

시나리오 3: 학술 연구 트렌드 분석

목표: 특정 키워드가 포함된 논문 수 추이 시각화

워크플로우:

• arXiv, PubMed 등에서 키워드 검색 결과 크롤링 (주 1회)
• 논문 제목, 초록, 발행일 추출
• 키워드 빈도 계산
• Google Sheets에 누적 저장
• Looker Studio로 시계열 그래프 생성

효과: 연구 분야의 핫 토픽을 데이터로 파악

문제 해결 가이드

문제 1: "403 Forbidden" 오류

원인: 웹사이트가 봇 접근을 차단

해결책:

• User-Agent 헤더 추가 (브라우저인 척 위장)

   User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
   

• 요청 빈도 줄이기 (Sleep 모듈 추가)
• 프록시 서버 사용 (고급)

문제 2: 데이터가 비어있음

원인: 동적 웹사이트라서 JavaScript 실행 필요

해결책:

• 브라우저 자동화 도구 사용 (Puppeteer, Selenium)
• 개발자 도구(F12)에서 Network 탭 확인 → API 엔드포인트 직접 호출
• 공식 API가 있는지 확인 (크롤링보다 안정적)

문제 3: AI가 잘못된 데이터 추출

원인: 프롬프트가 불명확하거나 예시 부족

해결책:

• 프롬프트에 구체적인 예시 3개 이상 추가
• "Do not include..." 형식으로 제외 조건 명시
• JSON 스키마를 정확히 정의
• Temperature 값을 0으로 설정 (일관성 향상)

문제 4: 워크플로우가 중간에 멈춤

원인: 타임아웃 또는 예상치 못한 데이터 형식

해결책:

• 에러 핸들러 추가 (try-catch 개념)
• 타임아웃 설정 늘리기 (기본 40초 → 120초)
• 로그 기록 활성화해서 어느 단계에서 실패하는지 확인

다음 단계: 더 고급 기능

기본 크롤링을 마스터했다면 이런 것도 시도해보세요:

1. 이미지 크롤링 및 저장

• 이미지 URL 추출
• Google Drive 또는 AWS S3에 자동 업로드
• OCR로 이미지 속 텍스트 추출

2. 데이터베이스 연동

• Airtable, Notion 등에 구조화된 형태로 저장
• 중복 데이터 자동 제거
• 태그 자동 분류

3. 알림 자동화

• 특정 조건 만족 시만 알림 (예: 가격이 50만원 이하인 매물)
• 우선순위별로 다른 채널로 전송 (긴급 → SMS, 일반 → 이메일)

4. AI 분석 추가

• 감성 분석 (긍정/부정/중립)
• 카테고리 자동 분류
• 유사 기사 그룹핑

핵심 정리

✅ 웹 크롤링은 정보 수집 자동화의 핵심 기술입니다. 코딩 없이도 노코드 도구와 AI를 결합하면 누구나 구현할 수 있습니다.

✅ 정적 웹사이트는 HTML 파싱만으로 충분하지만, 동적 웹사이트는 JavaScript 실행이나 API 분석이 필요합니다. 사이트 유형을 먼저 파악하세요.

✅ AI는 복잡한 패턴 추출에 유용하지만, 단순 반복 작업은 정규표현식(Regex)이 비용 효율적입니다. 상황에 맞게 선택하세요.

✅ 프롬프트 작성이 성패를 좌우합니다. 구체적인 예시를 포함하고, JSON 형식을 명확히 정의하며, 예외 상황을 명시하세요.

✅ 윤리와 법률을 준수해야 장기적으로 안전하게 사용할 수 있습니다. robots.txt를 확인하고, 요청 빈도를 제한하며, 개인정보를 보호하세요.

이제 당신도 웹에 흩어진 정보를 자동으로 수집하고 정리하는 시스템을 만들 수 있습니다. 첫 워크플로우를 완성하는 데는 시행착오가 있겠지만, 한 번 구축하면 매일 반복되는 작업에서 해방됩니다. 오늘 당장 시작해보세요!