docker 위에 telegraf, influxdb(1.x) 컨테이너 올려서 mqtt 센서 데이터 수집하기

어제는 gui 툴을 써서 편하게 연결하고 싶어서 influxdb 2버전을 사용했었다.

오늘은 influxdb 1.8버전 이미지로 컨테이너를 생성하고 센서데이터를 수집해보려고 한다.

 

✅ Influxdb 1.8버전과 2.0버전의 차이점

📌 데이터 수집 방식의 차이

- 1.8 버전은 데이터를 수집하고 관리하기 위해 database와 measurements를 사용한다.

- 2.0 버전은 데이터를 수집하고 관리하기 위해 bucket을 사용한다.

 

📌 GLI와 GUI 지원

- 1.8 버전은 influx 명령어를 통해 CLI 환경에 접속하여 데이터를 확인하거나 쿼리를 던질 수 있다.

- 2.0 버전은 브라우저 기반의 GUI 환경을 제공하므로 데이터를 시각적으로 확인할 수 있고, 쿼리도 편리하게 생성할 수 있다.

 

🐥 Telegraf와 influxdb 컨테이너를 연동하여 mqtt 데이터 수집하기

 

✅ Influxdb 컨테이너 실행시키기

우선, 아래 명령어로 influxdb 1.8버전 이미지를 이용해 컨테이너를 생성하고 실행시켜준다.

docker run -d --name influxdb2 -p 8086:8086 -v $PWD/influxdb_data:/var/lib/influxdb influxdb:1.8

 

 

그리고 컨테이너 내부 influx cli 쉘로 접속하여 "telegraf"라는 이름의 데이터베이스를 미리 만들어준다.

~ $ docker exec -it influxdb2 influx

Connected to http://localhost:8086 version 1.8.10
InfluxDB shell version: 1.8.10
> CREATE DATABASE telegraf
> EXIT

~ $

 

 

✅ telegraf 설정파일 작성하기

telegraf.conf 파일을 아래와 같이 작성해주었다.

# Global Agent Configuration
[agent]
  interval = "10s"
  round_interval = true
  metric_batch_size = 1000
  metric_buffer_limit = 10000
  collection_jitter = "0s"
  flush_interval = "10s"
  flush_jitter = "0s"
  precision = ""
  debug = false
  quiet = false
  logfile = ""

# MQTT Input Plugin Configuration
[[inputs.mqtt_consumer]]
  servers = ["tcp://192.168.70.203:1883"]
  topics = ["#", "data/s/+/b/+/p/#"]
  qos = 0
  connection_timeout = "30s"
  data_format = "json"
  json_time_format = "unix"

# InfluxDB Output Plugin Configuration
[[outputs.influxdb]]
  urls = ["http://192.168.71.231:8086"]
  database = "telegraf"
  skip_database_creation = true

 

- mqtt_consumer 플러그인의 server 항목에는 미리 만들어둔 mqtt 브로커 주소를 적어주었다.

 

- influxdb 플러그인의 urls 항목에는 influxdb 컨테이너가 실행되고 있는 host 컴퓨터의 ip 주소인 http://192.168.71.231:8086을 적어주었다.

 

    처음에는 호스트 컴퓨터의 ip 대신 http://localhost:8086을 적었었는데, influxdb와 연결되지 않는 문제가 있었다.

# telegraf 컨테이너 로그
2024-11-27T04:13:45Z I! [inputs.mqtt_consumer] Connected [tcp://192.168.70.203:1883]
2024-11-27T04:13:55Z E! [outputs.influxdb] When writing to [http://localhost:8086]: failed doing req: Post "http://localhost:8086/write?db=telegraf": dial tcp [::1]:8086: connect: connection refused
2024-11-27T04:13:55Z E! [agent] Error writing to outputs.influxdb: could not write any address
2024-11-27T04:14:05Z E! [outputs.influxdb] When writing to [http://localhost:8086]: failed doing req: Post "http://localhost:8086/write?db=telegraf": dial tcp [::1]:8086: connect: connection refused
2024-11-27T04:14:05Z E! [agent] Error writing to outputs.influxdb: could not write any address

 

원인은  telegraf 설정파일에서 localhost는 호스트 컴퓨터가 아니라 telegraf 컨테이너 내부를 가리키기 때문이다.

 

그래서 반드시 localhost가 아니라 호스트 컴퓨터의 ip를 적어주어야 했다.

 

(호스트 컴퓨터의 8086 포트와 influxdb컨테이너의 8086 포트가 맵핑되어 있기 때문에 호스트 컴퓨터의 ip를 적으면 telegraf 컨테이너에서 influxdb 컨테이너에 접근할 수 있음)

 

 

✅ telegraf 컨테이너 실행

설정파일을 다 작성했으면, 설정파일이 있는 디렉토리로 이동해서

아래 명령어를 입력하여 telegraf 컨테이너를 생성하여 실행해준다.

docker run -d --name telegraf2 -v $PWD/telegraf.conf:/etc/telegraf/telegraf.conf:ro telegraf:latest

 

 

✅ 수집한 데이터 확인

influxDB shell에 접속하여 데이터를 확인해볼 수 있다.

$ docker exec -it influxdb2 influx

Connected to http://localhost:8086 version 1.8.10
InfluxDB shell version: 1.8.10
> use telegraf
Using database telegraf
> show measurements
name: measurements
name
----
mqtt_consumer
> select * from mqtt_consumer limit 10