Resource

이 페이지는 한양대학교 최중민 교수께서 작성한 것입니다.

[온라인 HTML 문서 fetch 방법]

(1) Java 언어를 이용하는 경우, (2) Unix에서 C (C++)을 이용하는 경우, 그리고 (3) Windows (95 or NT)에서 C (C++)을 이용하는 경우로 나누어서 설명한다.

불행히도, 다른 언어일 경우는 내 수준에서는 대책없음.

Java를 이용하는 경우

JDK의 java.net package에서 제공되는 URL이라는 type과 java.io package에서 제공되는 openStream, DataInputStream 등의 method를 활용하면 된다.

간단한 sample program (URLOpen.java)은 다음과 같다. 이 프로그램은 야후 (Yahoo) 검색엔진의 URL을 주고 해당 홈 페이지의 HTML 소스를 한번에 한 줄씩 가져와서 화면에 출력시켜주게 된다.

import java.net.*;
import java.io.*;

class URLOpen {
    public static void main(String[] args) {
        try {
            URL yahoo = new URL("http://www.yahoo.com/");
            DataInputStream dis = new DataInputStream(yahoo.openStream());
            String inputLine;
             while ((inputLine = dis.readLine()) != null) {
                System.out.println(inputLine);
            }
            dis.close();
        } catch (MalformedURLException me) {
            System.out.println("MalformedURLException: " + me);
        } catch (IOException ioe) {
            System.out.println("IOException: " + ioe);
        }
    }
}

만일 HTML source를 화일에 저장하려면 Java에서 제공하는 output stream에 대한 method를 이용하면 될 것이다.

Unix에서 C (또는 C++)를 이용하는 경우
- WWW Library (http://www.w3c.org/Library) 를 이용하면 된다. 정확하게 하려면 library source file을 download 받아서 설치하고 이용해야 하지만 시간이 걸릴 것 같으므로 다음과 같은 방법을 이용한다.
- CSE에 이미 이 library와 몇몇 sample program들이 설치되어 있으므로 이것을 이용하면 된다. 여러가지 방법이 있지만 가장 간단한 방법으로 w3c라는 프로그램을 이용할 수 있다. CSE의 프롬프트에서
```
      % w3c http://www.hanyang.ac.kr
```
  을 실행하면 화면에 주어진 URL의 HTML source가 출력된다. 프로그램 내에서 이것을 이용하려면 Unix의 "system" call을 사용하면 될 것이다. 즉, 프로그램내에 다음과 같은 문장을 끼워넣으면 된다.
```
     system("w3c http://www.hanyang.ac.kr > outfile");
```
  이 call의 결과로 해당 HTML source가 outfile에 저장된다. 이때, system 함수의 argument는 string이므로 위에서 주어진 http://www.hanyang.ac.kr 대신에 다른 URL에 대한 HTML 문서를 가져오려면 다음과 같이 strcpy와 strcat 함수를 이용한다.
```
     char url[100], system_arg[150];

     strcpy(url, "http://cse.hanyang.ac.kr/~jmchoi/cse418/proj3.html");
     strcpy(system_arg, "w3c ");
     strcat(system_arg, url);
     strcat(system_arg, " > outfile");

     system(system_arg);
```
- 이 방법 외에도 WWW Library의 API를 직접 이용할 수도 있는데 자세한 내용은 위에서 제시한 W3C의 홈 페이지를 참조하기 바람.
  특히, http://www.w3c.org/Library/Examples 에 몇가지 간단한 예제가 나와 있으므로 참조하기 바람.
Windows (95 or NT)에서 C (또는 C++)를 이용하는 경우
- Visual C++ 5.0 에는 URL을 access하는 library가 제공되어 있으므로 간단하게 해결할 수 있다. 만일, 위에서처럼 URL의 HTML 문서를 화일에 저장한 후 작업을 하려면, URLDownloadToFile이라는 함수를 이용하여, 다음과 같은 code segment를 적당한 위치에 추가시키면 된다.
```
     #include <urlmon.h>

     char url[100], outfile[50];

     strcpy(url, "http://cse.hanyang.ac.kr/~jmchoi/cse418/proj3.html");
     strcpy(outfile, "out.txt");

     URLDownloadToFile (NULL, url, outfile, 0, NULL);
```
  단, system의 path 변수에 Visual C++ lib의 path를 추가시켜야 하고 (Visual C++ 설치시에 자동으로 추가되지만 만일 되어있지 않다면 제어판의 시스템에서 추가시켜야 함), compile시에 위의 path에 있는 urlmon.lib를 포함시켜야 함. (Projects 메뉴의 "setting" option에서 C/C++ 항목의 library 리스트에 urlmon.lib를 추가시키면 됨.)
  Visual C++ 5.0 이하의 버전이나 다른 컴파일러의 경우는 URL에 대한 library가 제공되는지 잘 모르겠지만 아마도 없을 것이라 생각되는데, 이 경우는 WWW Library를 설치하여 이용해야 할 것 같음.
  내 경험으로는 Windows 환경에서 WWW Library를 이용하는 것이 좀 어려운 것 같으므로 될 수 있으면 Visual C를 이용하는 것이 바람직할 듯함.