atom package

Submodules

atom.api module

模块介绍

这是一个atom服务应用类,主要使用fastapi搭建ASGI服务器

设计模式:

关键点:

(1)fastapi

主要功能:

(1)atom服务应用

使用示例

类说明

class atom.api.FeatureComputerParam(*, tag: str = 'hello', object_name: str = 'world', data_json: dict = None)

基类:pydantic.main.BaseModel

类介绍:

这是一个特征计算参数数据模型类,主要包括算子标签tag,对象名称object_name和数据字典data_json

data_json: dict
object_name: str
tag: str
async atom.api.atom(request: starlette.requests.Request)
async atom.api.data_query()
async atom.api.feature_compute(feature_computer_param: atom.api.FeatureComputerParam)
async atom.api.operator_query()

atom.base module

模块介绍

这是一个atom基础类模块,主要包括数据抽象类和算子抽象类

设计模式:

(1) 无

关键点:

(1)abstractmethod

主要功能:

(1)抽象接口

使用示例

类说明

class atom.base.CommunicationBase

基类:object

类介绍:

这是一个通信抽象类,主要提供生产消费确认消费三种功能接口

abstract consume()

方法功能:

定义一个消费抽象方法

abstract produce()

方法功能:

定义一个生产抽象方法

class atom.base.DataBase

基类:object

类介绍:

这是一个数据抽象类,主要提供增删改查四种管理功能接口

abstract modify()

方法功能:

定义一个修改抽象方法

abstract query()

方法功能:

定义一个查询抽象方法

abstract register()

方法功能:

定义一个注册抽象方法

abstract remove()

方法功能:

定义一个删除抽象方法

class atom.base.OperatorBase

基类:object

类介绍:

这是一个数据抽象类,主要提供增删改查四种管理功能接口

abstract modify()

方法功能:

定义一个修改抽象方法

abstract query()

方法功能:

定义一个查询抽象方法

abstract register()

方法功能:

定义一个注册抽象方法

abstract remove()

方法功能:

定义一个删除抽象方法

abstract run()

方法功能:

定义一个运行抽象方法

class atom.base.StoreBase

基类:object

类介绍:

这是一个存储抽象类,主要提供上传下载功能接口

abstract get()

方法功能:

定义一个下载抽象方法

abstract put()

方法功能:

定义一个上传抽象方法

abstract query()

方法功能:

定义一个查询抽象方法

abstract remove()

方法功能:

定义一个删除抽象方法

atom.cli module

模块介绍

这是一个atom常用命令行接口类

设计模式:

关键点:

(1)click

主要功能:

(1)atom程序管理

使用示例

类说明

atom.config module

模块介绍

这是一个配置类,主要功能设置环境变量和初始化,主要技术静态方法

设计模式:

(1) 无

关键点:

(1)静态方法

主要功能:

(1)设置环境变量和初始化

使用示例

类说明

class atom.config.Setup

基类:object

类介绍:

这是一个配置类,主要功能设置环境变量和初始化,主要技术静态方法

static initialization()

方法功能:

定义一个初始化的静态方法

参数:

返回:

static set_workspace(atom_workspace)

方法功能:

定义一个设置环境变量的静态方法

参数:

atom_workspace (str): atom工作空间环境变量

返回:

atom.manager module

模块介绍

这是一个atom管理器工厂类,主要包括数据模型、算子模型、存储模型和通信模型的具体操作方法,主要使用类方法和内部类实现工厂模式

设计模式:

(1) 工厂模式

关键点:

(1)classmethod

(2)内部类

主要功能:

(1)实现数据模型、算子模型、存储模型和通信模型的具体操作方法

使用示例

类说明

class atom.manager.ManagerFactory

基类:object

类介绍:

这是一个管理各种操作方法的工厂类,主要功能提供数据模型、算子模型、存储模型和通信模型的具体操作,主要技术使用类方法和内部类实现工厂模式

class CommunicationModel(connection)

基类:atom.base.CommunicationBase

类介绍:

这是一个通信模型具体实现类,主要提供生产消费确认消费三种功能

consume(queue_name, commit=False)

方法功能:

定义一个生产者方法,用来向消息中间件推送数据

参数:

queue_name (str): 消息队列名称

返回:

consume_data (objcet): 待消费消息队列的第一个数据

produce(queue_name, message)

方法功能:

定义一个生产者方法,用来向消息中间件推送数据

参数:

queue_name (str): 消息队列名称 message (json_dumps): 序列化后的json串

返回:

class DataModel(connection)

基类:atom.base.DataBase

类介绍:

这是一个数据模型具体实现类,主要提供增删改查四种管理功能

modify()

方法功能:

定义一个修改具体实现方法

query(tag)

方法功能:

定义一个查询具体实现方法

参数:

tag (str): 数据模型标签

返回:

view_df (DataFrame): 查询数据

register(tag, belong, object_name, remarks='no remarks', *args, **kwargs)

方法功能:

定义一个注册具体实现方法

参数:

tag (str): 数据集名称 belong (str): 所属项目名称 object_name (str): 存储对象文件名称 remarks (str): 备注

返回:

remove(tag, object_name)

方法功能:

定义一个删除具体实现方法

参数:

tag (str): 数据模型标签 object_name (str): 对象名称,可用于版本控制

返回:

class OperatorModel(connection)

基类:atom.base.OperatorBase

类介绍:

这是一个算子模型具体实现类,主要提供增删改查运行五种管理功能

modify()

方法功能:

定义一个修改具体实现方法

query(tag)

方法功能:

定义一个查询具体实现方法

参数:

tag (str): 数据模型标签

返回:

view_df (DataFrame): 查询数据

register(tag, belong, object_name, remarks='no remarks', *args, **kwargs)

方法功能:

定义一个注册具体实现方法

参数:

tag (str): 数据集名称 belong (str): 所属项目名称 object_name (str): 存储对象文件名称 remarks (str): 备注

返回:

remove(tag, object_name)

方法功能:

定义一个删除具体实现方法

参数:

tag (str): 算子模型标签 object_name (str): 对象名称,可用于版本控制

返回:

run(func_obj, *args, **kwargs)

方法功能:

定义一个运行函数对象的方法

参数:

func_obj (object): 函数对象

返回:

result (object): 函数结果对象

class StoreModel(connection)

基类:atom.base.StoreBase

类介绍:

这是一个存储模型具体实现类,主要提供上传下载删除查询四种管理功能

get(bucket_name, object_name)

方法功能:

定义一个获取数据方法

参数:

bucket_name (str): 对象存储中桶的名称 object_name (str): 二进制数据对象名称

返回:

bytes_obj (object): 二进制数据对象

inverse_transform_from_bytes(bytes_obj)

方法功能:

定义一个将对象序列化的方法

参数:

bytes_obj (bytes): 序列化后的二进制对象

返回:

obj (Object): 需要序列化目标对象

put(bucket_name, object_name, bytes_obj)

方法功能:

定义一个上传数据方法

参数:

bucket_name (str): 对象存储中桶的名称 object_name (str): 二进制数据对象名称 bytes_obj (object): 二进制对象

返回:

query(bucket_name, object_name)

方法功能:

定义一个查询数据方法

参数:

bucket_name (str): 对象存储中桶的名称 object_name (str): 二进制数据对象名称

返回:

info_object (Object): 存储数据信息对象

remove(bucket_name, object_name)

方法功能:

定义一个删除数据方法

参数:

bucket_name (str): 对象存储中桶的名称 object_name (str): 二进制数据对象名称

返回:

transform_to_bytes(obj)

方法功能:

定义一个将对象序列化的方法

参数:

obj (Object): 需要序列化目标对象

返回:

bytes_obj (bytes): 序列化后的二进制对象

classmethod create_communication_model(connection)

方法功能:

定义一个创建通信模型实例的类方法

参数:

connection (Object): 对象存储MinIO连接对象

返回:

CommunicationModel (Object): 存储模型实例对象

classmethod create_data_model(connection)

方法功能:

定义一个创建数据模型实例的类方法

参数:

connection (Object): 数据库连接对象

返回:

DataModel (Object): 数据模型实例对象

classmethod create_operator_model(connection)

方法功能:

定义一个创建算子模型实例的类方法

参数:

connection (Object): 数据库连接对象

返回:

OperatorModel (Object): 数据模型实例对象

classmethod create_store_model(connection)

方法功能:

定义一个创建存储模型实例的类方法

参数:

connection (Object): 对象存储MinIO连接对象

返回:

OperatorModel (Object): 存储模型实例对象

atom.scheduler module

模块介绍

这是一个atom管理调度类模块,主要包括注册、删除、查询、修改、加载五大操作功能,主要技术采用装饰器模式和静态方法

设计模式:

(1) 装饰器模式

关键点:

(1)装饰器技术

主要功能:

(1)功能接口

使用示例

类说明

class atom.scheduler.AtomScheduler(mode='delay')

基类:object

类介绍:

这是一个管理器调度类,主要功能管理Atom的整体操作,包括注册、删除、查询、修改、加载五大操作功能,主要技术采用装饰器模式和静态方法

data_load(tag, object_name)

方法功能:

定义一个数据加载方法,主要功能从远端存储加载数据对象

参数:

tag (str): 数据标签 object_name (str): 对象名称

返回:

data_obj (objcet): 数据对象

data_modify()

方法功能:

定义一个数据修改方法,未开发,敬请期待

参数:

返回:

data_query(tag)

方法功能:

定义一个已注册数据查询方法

参数:

tag (str): 数据标签

返回:

view_df (DataFrame): 已注册数据查询表单

data_register(tag, belong, object_name, data_object, remarks='no remark')

方法功能:

定义一个数据注册方法,主要功能存储数据元信息和数据对象

参数:

tag (str): 数据标签 belong (str): 数据所属项目名称 object_name (str): 对象名称 data_object (object): 数据对象 remarks (str): 备注

返回:

data_remove(tag, object_name)

方法功能:

定义一个数据删除方法,主要根据数据标签和数据对象名称来删除对象,数据对象名称未来可用于版本控制

参数:

tag (str): 数据标签 object_name (str): 对象名称,可用于版本控制

返回:

operator_load(tag, object_name)

方法功能:

定义一个算子加载方法,主要功能从远端存储加载算子对象

参数:

tag (str): 数据标签 object_name (str): 对象名称

返回:

operator_obj (objcet): 数据对象

operator_modify()

方法功能:

定义一个算子修改方法,未开发,敬请期待

参数:

返回:

operator_query(tag)

方法功能:

定义一个已注册算子查询方法

参数:

tag (str): 算子标签

返回:

view_df (DataFrame): 已注册算子查询表单

operator_register(tag, belong, object_name, operator_object=None, remarks='no remark')

方法功能:

定义一个算子注册方法,主要功能存储算子元信息和算子对象,主要技术装饰器技术

参数:

tag (str): 算子标签 belong (str): 算子所属数据项目名称 object_name (str): 对象名称 operator_object (object): 算子对象 remarks (str): 备注

返回:

operator_remove(tag, object_name)

方法功能:

定义一个算子删除方法,主要根据算子标签和算子对象名称来删除对象,算子对象名称未来可用于版本控制

参数:

tag (str): 算子标签 object_name (str): 对象名称,可用于版本控制

返回:

atom.utils module

模块介绍

这是一个辅助类,主要功能实现各种外部依赖工具功能,主要技术内部类和with上下文管理器

设计模式:

(1) 无

关键点:

(1)with上下文管理器

(2)内部类

主要功能:

(1)实现各种外部依赖工具功能

使用示例

类说明

class atom.utils.dbconnection(dbpath='default')

基类:object

类介绍:

这是一个数据库连接器管理类

class atom.utils.minioconnection(host, port)

基类:object

类介绍:

这是一个消息中间件连接器管理类

class atom.utils.mqconnection(host, port)

基类:object

类介绍:

这是一个消息中间件连接器管理类

Module contents