python&pytorch基础知识点
0、python教程
菜鸟教程：Python 字典(Dictionary)
单个的星号*操作，表示展开一个可迭代的数据，双星号如果在函数定义时，做为输入，可以用来匹配关键字参数，并且在调用时候，将关键字参数的关键字和输入值，组成字典
Python的表达式加星号*和双星号**的用法
with还可以很好的处理上下文环境产生的异常
Python中with的用法_Ego_Bai的博客-CSDN博客_python with
它是一个对函数的类型注解，简单表示方法什么都不返回。这个类型注解是在Python3.5介绍进来的。
注解表示函数的返回类型，用标识符-> 。它是可选的，如果删掉，什么都不会影响
是参数的类型建议符，函数后面跟着的箭头是函数返回值的类型建议符，用来说明该函数返回的值是什么类型，类型建议符并非强制规定和检查，也就是说即使传入的实际参数与建议参数不符，也不会报错，但会有警告。
def Sum(num1: int, num2: int=100) -> int:
sum = num1 + num2
return sum
“单下划线” 开始的成员变量叫做保护变量，意思是只有类对象和子类对象自己能访问到这些变量；
“双下划线” 开始的是私有成员，意思是只有类对象自己能访问，连子类对象也不能访问到这个数据；
在类中定义了这个__getitem__ 方法，那么它的实例对象（假定为p），可以像这样p[key] 取值，当实例对象做p[key] 运算时，会调用类中的方法__getitem__
问题： 看pytorch的dataset的代码cifar10里面的__getitem__函数里面没有限制index长度？怎么保证数据读取时停止的？
torchvision.datasets.cifar - Torchvision 0.12 documentation
对于一个可迭代的（iterable）/可遍历的对象（如列表、字符串），enumerate将其组成一个索引序列，利用它可以同时获得索引和值
python enumerate用法总结
lambda在Python编程中使用的频率非常高，我们通常提及的lambda表达式其实是python中的一类特殊的定义函数的形式，使用它可以定义一个匿名函数。即当你需要一个函数，但又不想费神去命名一个函数，这时候，就可以使用 lambda了。例如g=lambda x : x+1
python中lambda的用法_abyss-phospherus的博客-CSDN博客_lambda python
会根据提供的函数对指定序列做映射，在写返回值等需要转换的时候比较常用
我们可以使用@property装饰器来创建只读属性，@property装饰器会将方法转换为相同名称的只读属性,可以与所定义的属性配合使用，这样可以防止属性被修改。
转自：Zhihao：python @property的介绍与使用
转自：python中使用下划线命名的规则_weixin_52012241的博客-CSDN博客_python下划线命名规则
Python collections模块之defaultdict()详解
Python setattr() 函数
在python3中按数据类型的可变与不可变大致分为如下几种类型，前面已经介绍了另外几种了。今天讲讲set。
不可变数据（3 个）：Number（数字）、String（字符串）、Tuple（元组）；
可变数据（3 个）：List（列表）、Dictionary（字典）、Set（集合）。
Python中集合set的使用详解_涤生大数据的博客-CSDN博客_python set
action='store_true' 这个参数给“--cuda” 这设置了默认值ture，这样这个参数就不用像其他参数一样给等号和默认值了，当然类似还有还有action='store_false'；
合并两个元组，返回一个元组；
a : int = 2
资料灰灰：在Python中指定变量类型
菜鸟资料：Python 字典(Dictionary)
特性：缩进，序列，动态性，匿名、嵌套函数，自省
2和3的别：3定义个格式print("abc")，数据类型上只有int没有long，3还有range，
数据类型：int float 字符串 列表 函数
bool, int , float,复杂类型,None类型
容器：
（1）序列容器：6种，string,unicode,list（列表）,tuple（元组）,buffer,range
列表[] ，元组（）元素不能改
（2）关联容器：dict(字典) set(集合)
set([1,2,3]) 无序唯一的存放元素
if for while break contine
函数 lambda
第5章 类和对象
类、实例、方法
构造函数__init__，析构函数__del__
继承：单一继承、多重继承、方法重载
关联和依赖
try except else final
模块对应文件，包对应文件夹，包下方__init__.py 文件保障记录包下的所有模块
import module，form module import fun，区别在于后者在引用是不用一直写module
（1）元类型 type
（2）新类型：
实例方法，第一个参数是self，只有实例可调用
类方法，第一个参数是类本身，默认cls，类可以调用&一个参数是self
静态方法 ，不需要一个参数是self，类可以调用&一个参数是self
第9章 迭代器、生成器、修饰器
迭代器 __iter__ next
生成器 yield
修饰器 (Decorator) @
括号的问题
b相比a增加了一个括号，但是a和b的值是一样的，因为zeros、rand、ones函数还有第二个参数dtype=torch.float32，默认不写dtype是float32，所以b外面的括号是为dtype准备，但是Tensor是不能有第二层括号的
两种方式的输出是一样的，0表示列的最大值，1表示行的最大值。
0表示第0维的最大值，每个子数组出一个数算大值；
1表示第1维的最大值，也就是每个子数组内部的最大值；
机器学习中的数学--激活函数：基础知识_von Neumann的博客-CSDN博客
· 激活函数（一）：Sigmoid函数
· 激活函数（二）：双曲正切函数（Tanh函数）
· 激活函数（三）： 线性整流函数（ReLU函数）
· 激活函数（四）：Leaky ReLU函数
· 激活函数（五）：ELU函数
· 激活函数（六）：Parametric ReLU（PReLU）函数
· 激活函数（七）：Softmax函数
· 激活函数（八）：Swish函数
· 激活函数（九）：Maxout函数
· 激活函数（十）：Softplus函数
· 激活函数（十一）：Softsign函数
· 激活函数（十二）：高斯误差线性单元(GELUs)
另外有nn.softmax、nn.LogSoftmax，见参考资料
另外有torch.softmax
参考资料：
悲恋花丶无心之人：Pytorch中Softmax和LogSoftmax的使用
a=torch.tensor([5,5,5,5]).float()
a = torch.tensor([1,2,3]).to(dtype=torch.float)
torch.mul(a, b) 是矩阵a和b对应位相乘，a和b的维度必须相等，比如a的维度是(1, 2)，b的维度是(1, 2)，返回的仍是(1, 2)的矩阵，和a*b效果相同。其实这个矩阵或者向量的乘法操作就是H a d a m a r d HadamardHadamard乘积哈达玛乘积，具体操作细节查看这个。这个操作跟乘以b一样。
torch.mm(a, b) 是矩阵a和b矩阵相乘，比如a的维度是(1, 2)，b的维度是(2, 3)，返回的就是(1, 3)的矩阵。这个操作很熟悉了，这就是很常用的矩阵运算。
ShuYini：Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解
softmax+log_nllloss=crossentropyloss
事件的信息量定义为期望，很多事件的期望用熵来标识
LK散度就是相对熵，相对熵=熵+交叉熵
蔡杰：简单的交叉熵，你真的懂了吗？
学习资料：External Resources
斯坦福课程作业：https://medium.com/stanford-cs224w/recommender-systems-with-gnns-in-pyg-d8301178e377
Introduction by Example
plantoid数据集不能引入的问题处理方法：PyG的Planetoid无法直接下载Cora等数据集的3个解决方式_诸神缄默不语的博客-CSDN博客_cora数据集下载
pytorch官网：
PyTorch
PYG ：
PyG Documentation
OBG ：https://ogb.stanford.edu/
会议：https://logconference.org/
nvidia-smi
watch -n 0.5 nvidia-smi
linux查看GPU使用情况 linux如何查看GPU使用情况
6、sparse特征
在ogbn-arxiv数据集上，边的特征用稀疏特征比用稠密特征准确率可以可以30%->60%，效果非常明显