[Crawling] icrawler

icrawler를 이용하여 google에서 이미지 크롤링을 해봤습니다.

• ‘root_dir’ -> 이 곳에는 저장할 위치를 설정해줍니다.

• ‘keyword’ -> 이 곳에는 검색 키워드를 입력해줍니다.

from icrawler.builtin import GoogleImageCrawler

google_crawler = GoogleImageCrawler(
    feeder_threads=1,
    parser_threads=2,
    downloader_threads=4,
    storage={'root_dir': 'images'})
    #images -> folder name

filters = dict(
    size='large',
    color='color',
    license='commercial,modify',
    date=((2017, 1, 1), (2017, 11, 30)))

google_crawler.crawl(keyword='wildboar', filters=filters, max_num=1000, file_idx_offset=0)

• 참고 : icrawler