Cara Mining Data di Twitter dengan Python dan Ekspor dalam CSV

Di internet, ada banyak data yang jika dikumpulkan dan diolah dengan baik akan menjadi alat yang bagus untuk pengambilan keputusan. Pada kali ini kita akan belajar untuk melakukan mining data dari Twitter menggunakan Twitter API dan Python, dan menyajikannya dalam format *.CSV supaya lebih mudah diolah kalau terbiasa menggunakan Excel.

Console untuk input pencarian

Hasil dalam bentuk CSV, dibuka di MS Excel

Persiapan

Pertama dapatkan dulu API Key, API Key Secret, Access Token, Access Token Secret dengan cara mendaftar untuk akses Twitter API di sini. Cukup jawab beberapa pertanyaan, mudah kok prosesnya. Tujuan dari daftar Twitter API ini adalah mendapatkan (1) API Key (2) API Secret (3) Access Token, dan (4) Access Token Secret. Simpan semua kodenya, bisa di dalam file .txt atau .env yang penting jangan sampe hilang atau keshare ke publik.¹

Buka menu “Keys and tokens”, nanti ada ke-4 key yang kalian butuhkan di sana.

Coding di Python

Sekarang kita mulai coding di python. Silakan setup virtual environment terlebih dahulu, lalu install library bernama ‘tweepy’ dan ‘pandas’.

pip install tweepy
pip install pandas

buat file `main.py` lalu kita impor kedua library tersebut dan mulai autentikasi tweepy dengan empat secret keys yang kita dapat setelah daftar Twitter API di atas tadi.

import tweepy
import csv
import pandas as pd
API_KEY="xxapikeyandaxx"
API_KEY_SECRET="xxapikeysecretandaxx"
ACCESS_TOKEN="xxaccesstokenandaxx"
ACCESS_TOKEN_SECRET="xxaccesstokensecretandaxx"
# Authenticate to Twitter
auth = tweepy.OAuthHandler(API_KEY, API_KEY_SECRET)
auth.set_access_token(ACCESS_TOKEN, ACCESS_TOKEN_SECRET)
api = tweepy.API(auth)
try:
    print('\033[93m' + "[∙] Authenticating..." + '\033[0m')
    api.verify_credentials()
    print('\033[92m' + "[✔️] Authentication success!" + '\033[0m')
except:
    print("Error during authentication")

Sampai sejauh ini, jika anda run file main.py dengan python main.py maka anda akan mendapatkan ini di console jika keempat secret keysnya benar.

Otentikasi berhasil

Lanjutkan codenya dengan menambahkan input interaktif, supaya kita bisa input string dan jumlah tweets yang mau kita munculkan langsung di console.

# Gather Input
search_keyword = input("Search keyword [type any string]: ")
search_limit = int(input("Search limit amount [type any number]: "))
print("searching: '" + search_keyword + " (limit: " + str(search_limit) + ")'")

supaya bisa input kaya gini

Tambahkan dengan baris ini untuk membuat file CSV dan mengisinya dengan api search dengan keyword yang kita mau dan batas jumlah tweet yang kita input.

Code untuk membuat file CSV dan mengisinya dengan hasil API Search

Lalu jalankan main.py dengan python main.py, nanti setelah proses selesai, python akan membuat file *.csv dengan nama file sesuai search keyword yang Anda input sendiri.

Ini hasil file CSVnya

Source code lengkapnya bisa dilihat di sini:

Kesimpulan

Mining data itu sangat mudah asal dapat akses API-nya dan menggunakan library yang tepat. Saya harap tulisan ini dapat membantu Anda yang sedang kesulitan mencari cara untuk mining data dari twitter dan menyajikannya dalam bentuk CSV. Jika ada pertanyaan silakan kontak saya melalui akun twitter: @febrilian__ atau visit personal site saya di febrilian.com (misal username twitternya udah ganti).

Referensi

1. Kristiawan F. Cara Data Mining dari Twitter dengan R Language. Medium; 2021. [cited 2021 Apr 8] Available from: https://febriliankr.medium.com/cara-data-mining-dari-twitter-dengan-r-language-e7fb937da21f