안녕하세요? 김백일입니다.

이전 글들(13, 15번)에서 토크나이저의 구현 소스를 소개한 적이 있습니다.
그러나 이 토크나이저보다 좀 더 강력한 기능이 필요하시다면,
Boost C++ Library 의 tokenizer 클래스를 써보실 것을 권합니다.

자료실에서 Boost C++ Library를 다운 받은 후,
http://www.borlandforum.com/impboard/impboard.dll?action=read&db=cpp_res&no=8

$(BCB)\include\boost_1_28_0 에 설치했다고 가정하면,

$(BCB)\include\boost_1_28_0\libs\tokenizer 에 다큐먼트와 예제 파일이 있습니다.

간단한 예제 2가지만 들어보겠습니다.

다음은 가장 간단한 예제 코드입니다.
string 뿐만 아니라, vector<char> 등, 모든 시퀀스 컨테이너(vector, list, deque)을 사용할 수 있다는 것을 알 수 있습니다.

// simple_example_1.cpp

#include <iostream>
#pragma hdrstop
#include <boost/tokenizer.hpp>
#include <string>
#include <vector>

using namespace std;
using namespace boost;

int main()
{
   string s = "This is,  a test";
   tokenizer<> tok(s); // 템플릿 인자를 생략한 경우는
   // tokenizer<char_delimiters_separator<char> > tok(s); 와 동일합니다.

   // 루프를 사용하는 방법
   for (tokenizer<>::iterator i = tok.begin(); i != tok.end(); ++i)
        cout << *i << endl;
   // copy 알고리듬을 사용하는 방법
   ostream_iterator<string> out(cout, "\n");
   copy(tok.begin(), tok.end(), out);

   vector<char> vs(s.begin(), s.end());
   tokenizer<> tokv(vs);
   // 루프를 사용하는 방법
   for (tokenizer<>::iterator i = tokv.begin(); i != tokv.end(); ++i)
        cout << *i << endl;
   // copy 알고리듬을 사용하는 방법
   copy(tok.begin(), tok.end(), out);
}

다음은, 구분자(seperator, delimiter)를 white space가 아닌 다른 것으로 지정하는 예제입니다.

// char_sep_example_1.cpp

#include <iostream>
#pragma hdrstop
#include <boost/tokenizer.hpp>
#include <string>

using namespace std;
using namespace boost;

int main()
{
   string str = ";;Hello|world||-foo--bar;yow;baz|";
   typedef tokenizer<char_separator<char> > stokenizer;
   char_separator<char> sep("-;|");
   stokenizer tokens(str, sep);
   // 루프를 사용하는 방법
   for (stokenizer::iterator i = tokens.begin(); i != tokens.end(); ++i)
        cout << *i << endl;
   // copy 알고리듬을 사용하는 방법
   copy(tokens.begin(), tokens.end(), ostream_iterator<string>(cout, "\n"));
}