MiStats

  2. Домой
  4. Документы
  6. MiStats
  8. Импорт данных

Импорт данных

Миграция данных с MongoDB

Для того, чтобы совершить миграцию с Viewstats на MiStats необходимо:

  • Скачать скрипт migrate_from_viewstats.py из личного кабинета оператора
  • После скачивания перенести файл в папку /usr/share/microimpuls/mistats/backend/
  • Заполнить переменные внутри скрипта миграции по примеру ниже:
# название БД в Mongo
MONGODB_NAME="smarty"
# хост MongoDB
MONGODB_HOST="127.0.0.1"
# порт MongoDB
MONGODB_PORT=27017
# название коллекции с данными телесмотрения в MongoDB
MONGODB_COLLECTION="reports"
# размер одной порции записей при переносе данных (если MongoDB падает по таймауту, то можно уменьшить объем данной порции)
MONGO_LIMIT=100000
  • Скачать Python-библиотеку PyMongo: 
pip install pymongo
  • Запустить миграцию данных с помощью команды:
sudo python migrate_from_viewstats.py --copy --database=smarty_stats

Дополнительные параметры команды:

  • --copy — опция для копирования данных из MongoDB в ClickHouse
  • --database — опция для указания в какую БД ClickHouse переносить данные
  • --delete — удаляет БД в ClickHouse. Работает только с опцией --database, игнорируя другие опции. Требуется для повторного импорта данных из MongoDB в ClickHouse.
  • --count — выводит количество данных в MongoDB. Может понадобиться для изменения переменной MONGO_LIMIT в скрипте migrate_from_viewstats.py
  • --client_id — опция для указания Client ID (для возможности импорта или подсчета данных по конкретному client_id, а не по всем сразу. Полезно, когда в Smarty имеется несколько клиентов)