【Ruby】Suumoの情報をRubyでスクレイプしたのでメモ

はじめに

久しぶりにRubyでスクレイプしたので書いた内容をメモしておきます。

まだまだ修行中のため、もっとこうしたらいいなど、コメントありましたらぜひ、アドバイスいただけると嬉しいです！

内容

• 特定のSuumoのサイトを指定して、物件名と価格取得する
• 取得した内容をCSVデータとして出力する

それでは下記コード

今回はMechanizeを利用しました。

require 'mechanize'
require 'CSV'

def get_stock_data(url)
  agent = Mechanize.new
  page = agent.get("#{url}")

  names = get_name(page)
  prices = get_price(page)
  create_data(names, prices)
end


def get_name(page)　## 物件名を取得する
  names = []
  stock_names = page.search('#js-bukkenList').search('.cassette_header').search('h2 a').children
  stock_names.each do |name|
    names << name.inner_text
  end
  return names
end


def get_price(page)　## 物件価格を取得する
  stock_prices = []
  prices = page.search('#js-bukkenList').search('.cassette_price').search('div').search('.cassette_price-accent').children
  prices.each do |price|
    stock_prices << price.inner_text.strip
  end
  return stock_prices
end


## 物件名と価格の配列を加工する
## 一番理解が薄いまま書いたので後で見直ししようと思っているところです
def create_data(names, prices)
 arr = names.zip(prices)
end



## CSVを作成する
## 引数の”w”が何かしっくりきていないです

def create_csv(stock_data)
  headers = ["物件名","販売価格"]
  rows = stock_data
  csv_data = CSV.open('stock_data.csv', 'w') do |csv|
    csv << headers
    rows.each do |row|
    csv << row
   end
  end
end


## 取得したいSuumoページのURLを入力する
url = "https://suumo.jp/jj/bukken/ichiran/JJ010FJ001/?ar=030&bs=010&ta=12&firstFlg=0&urlFlg=0&jspIdFlg=1&sc=12203&kb=1&kt=9999999&km=1&mb=0&mt=9999999&ekTjCd=&ekTjNm=&tj=0&srch_navi=1"

stock_data = get_stock_data(url)
create_csv(stock_data)