插件demo

logbus配置

配置解析：

•
cmd   插件服务端启动命令​

•
depend_sh  启动命令是否依赖bash环境，默认为false（python、java需要）​

•
hand_shake   插件校验​

•
hand_shake.protocol_version    与插件服务端定义须保持一致​

•
hand_shake.magic_cookie_key   与插件服务端定义须保持一致​

•
hand_shake.magic_cookie_value   与插件服务端定义须保持一致​

代码块

{​
    "datasource": [​
        {​
            "type": "kafka",​
            "topic": "M1655274499097_activity",​
            "consumer_group": "sskj_ta_test_event3",​
            "auto_commit": false,​
            "brokers": [​
                "10.156.0.118:9092"​
            ],​
            "block_partitions_timeout": 4000,​
            "block_partitions_revoked": true,​
            "app_id": "d074f53e2f0c4b33a076ede721e3bf63",​
            "parser": {​
                "cmd": "./parser",​
                "hand_shake": {​
                    "protocol_version": 1,​
                    "magic_cookie_key": "LogBus",​
                    "magic_cookie_value": "v2"​
                }​
            }​
        }​
    ],​
    "push_url": "http://10.156.0.92:8991"​
}​

插件开发

grpc插件服务端接收数据格式

数据批量处理，多条数据以双冒号分隔“::”，单条数据则拼接文件名称或者kafka的topic名称，以“|ta|”字符拼接。​

example：

文件名称为：event.log

原始数据2条：{"user_id": "abc", "distinct_id": "123"} {"user_id": "def", "distinct_id": "456"}​

gprc插件服务端接收到的数据为：event.log|ta|{"user_id": "abc", "distinct_id": "123"} ::event.log|ta|{"user_id": "def", "distinct_id": "456"}​

grpc插件服务端返回数据格式

以双冒号“::”拼接转换为标准ta格式的数据

example:

返回数据应为：

{"#account_id": "abc", "#distinct_id": "123"}::{"#account_id": "def", "distinct_id": "456"}​

插件demo​

插件demo