paimon-10 集成hive引擎

2023年 9月 28日
Posted by 蓝染君

将paimon-hive-connector.xx.jar添加到hive环境

mkdir hive/auxlib/
cp paimon-hive-connector.xx.jar hive/auxlib/

以上之后可以直接访问paimon表

创建paimon表

SET hive.metastore.warehouse.dir=hdfs://hadoop001:8020/paimon/hive;
CREATE TABLE test_hive(
    id INT COMMENT 'id',
    name STRING COMMENT 'name'
) STORED BY 'org.apache.paimon.hive.PaimonStorageHandler';

以上创建的表在hive和paimon的catalog中都可以访问到

hive中写入数据到paimon表需要使用mr引擎

通过外部表访问paimon表

要访问现有的paimon表，还可以将他们注册为hive中的外部表，不需要指定任何表属性，只需要指定路径。

CREATE EXTERNAL TABLE test.hive_ex
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
LOCATION 'hdfs://hadoop002:8020/paimon/hive/test.db/ws_t';

-- 或将路径写入表属性中
CREATE EXTERNAL TABLE test.hive_ex
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
TBLPROPERTIES (
    'paimon_location': 'hdfs://hadoop002:8020/paimon/hive/test.db/ws_t'
)

Blog

paimon-10 集成hive引擎